(57)【要約】      （修正有）【課題】検査対象物の表面の立体形状が未知の形状であっても好適に特定できる立体形状計測装置を提供する。【解決手段】立体形状計測装置１０は検査対象物の立体形状を計測する。合焦位置までの距離が一定である、検査対象物を撮影するカメラを含み、カメラから検査対象物までの撮影距離が可変である撮影部１１と、撮影部に、複数の撮影距離において検査対象物を撮影させる撮影制御部１２と、撮影部が撮影した各画像を取得し、各画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部１３と、合焦位置算出部が算出した合焦位置に基づいて、合焦位置集合である合焦分布を算出し、算出した合焦分布に基づいて、検査対象物の立体形状を特定する形状特定部１４と、形状特定部が特定した検査対象物の立体形状の各位置における特徴を算出し、算出した特徴に基づいて立体形状を構成する所定の種別の形状を抽出する形状抽出部１５とを備える。【選択図】図１
2020041976.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物の立体形状を計測する立体形状計測装置であって、
合焦位置までの距離が一定である、前記検査対象物を撮影するカメラを含み、前記カメラから前記検査対象物までの撮影距離が可変である撮影部と、
前記撮影部に、複数の前記撮影距離において前記検査対象物を撮影させる撮影制御部と、
前記撮影部が撮影した各画像を取得し、各前記画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部と、
前記合焦位置算出部が算出した合焦位置に基づいて、合焦位置集合である合焦分布を算出し、算出した合焦分布に基づいて、前記検査対象物の立体形状を特定する形状特定部と、
前記形状特定部が特定した前記検査対象物の立体形状の各位置における特徴を算出し、算出した特徴に基づいて前記立体形状を構成する所定の種別の形状を抽出する形状抽出部とを備える、立体形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の表面の立体形状を計測する立体形状計測に関する。
【背景技術】
【０００２】
製品の表面に微細な異物が付着していないか検査することは品質保証上重要である。そのため、例えば製品を撮影した画像の合焦度に基づいて表面の微細な立体形状を計測することが行われている。特許文献１は、立体形状として、ボンディングされたワイヤを、合焦位置を異ならせながら複数撮影し、撮影した各画像内の合焦度に基づいて、撮影方向の断面における合焦位置分布を生成し、ワイヤの立体形状を抽出することを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９２１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する方法では、ワイヤの位置、方向や太さが既知であるため、合焦位置分布からワイヤの形状を特定しやすいが、異物のような未知の形状の場合は特定が困難な場合がある。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、検査対象物の表面の立体形状が未知の形状であっても好適に特定できる立体形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一局面は、検査対象物の立体形状を計測する立体形状計測装置であって、合焦位置までの距離が一定である、検査対象物を撮影するカメラを含み、カメラから検査対象物までの撮影距離が可変である撮影部と、撮影部に、複数の撮影距離において検査対象物を撮影させる撮影制御部と、撮影部が撮影した各画像を取得し、各画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部と、合焦位置算出部が算出した合焦位置に基づいて、合焦位置集合である合焦分布を算出し、算出した合焦分布に基づいて、検査対象物の立体形状を特定する形状特定部と、形状特定部が特定した検査対象物の立体形状の各位置における特徴を算出し、算出した特徴に基づいて立体形状を構成する所定の種別の形状を抽出する形状抽出部とを備える、立体形状計測装置である。
【発明の効果】
【０００７】
本発明によれば、検査対象物の表面の立体形状が未知の形状であっても好適に特定できる立体形状計測装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る立体形状計測装置の機能ブロック図
【図２】本発明の一実施形態に係る撮影部の模式側面図
【図３】本発明の一実施形態に係る処理を示すフローチャート
【図４】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図５】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図６】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図７】本発明の一実施形態に係る撮影画像とその合焦位置とを示す図
【図８】本発明の一実施形態に係る合焦位置と合焦分布とを示す図
【図９】本発明の一実施形態に係る立体形状の特徴抽出を示す図
【図１０】本発明の一実施形態に係る合焦分布と立体形状の各部分の形状種別を色分けした例とを示す図
【発明を実施するための形態】
【０００９】
（実施形態）
本発明に係る立体形状計測装置は、検査対象物の表面を撮影した画像に基づいて検査対象物の合焦分布を算出し、合焦分布に基づいて検査対象物表面の立体形状を特定し、さらに立体形状から特徴を抽出して、立体形状の各部分の形状の種別を抽出する。
【００１０】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
【００１１】
＜構成＞
図１に、本実施形態における立体形状計測装置１０の機能ブロック図を示す。立体形状計測装置１０は、撮影部１１、撮影制御部１２、合焦位置算出部１３、形状特定部１４、形状抽出部１５を含む。図２に撮影部１１の側面図の一例を模式的に示す。撮影部１１は、カメラ１１１と、カメラ１１１を支持するカメラ支持部１１２と、検査対象物９００を載置する載置部１１３とを含む。カメラ１１１は、カメラ１１１から合焦位置までの距離が固定されている。カメラ支持部１１２は、カメラ１１１の高さを可変に支持する。これによって、カメラ１１１と検査対象物９００との間の距離である撮影距離を可変とすることができる。なお、検査対象物９００は、例えば金属部品であり、表面から突出する微細突出部分（ウィスカ）９０１のような異物を有しうる。
【００１２】
撮影制御部１２は、撮影部１１を制御し、カメラ１１１に複数の撮影距離において検査対象物９００を撮影させることができる。撮影された画像は、画像を撮影した際の撮影距離を対応付けて、図示しない記憶部に記憶される。合焦位置算出部１３は、記憶部から各画像を取得し、画像の各部分の合焦度を算出し、合焦度に基づいて、さらに合焦位置を算出する。形状特定部１４は、合焦位置に基づいて、合焦位置の集合である合焦分布を算出し、合焦分布に基づいて検査対象物９００の立体形状を特定する。形状抽出部１５は、特定された立体形状から特徴を抽出し、立体形状を構成する所定の種別の形状を抽出する。
【００１３】
＜処理＞
本実施形態に係る処理の例を説明する。図３は、立体形状計測装置１０が行う、立体形状を特定する処理を示すフローチャートである。本処理は、載置部１１３に検査対象物９００を載置して、開始する。
【００１４】
（ステップＳ１０１）：撮影制御部１２は、撮影部１１を制御して、カメラ１１１で検査対象物９００の同一範囲を同一の撮影方向で相異なる撮影距離で撮影させる。カメラ１１１の初期の高さは、例えば予め取得した検査対象物９００のＣＡＤデータ等の設計上の形状等に基づいて設定することができる。また、撮影距離の変化範囲は、例えば想定される微細突出部分９０１の長さに基づいて設定することができる。
【００１５】
（ステップＳ１０２）：撮影制御部１２は、検査対象物９００の表面の概形状を取得する。これは、検査対象物９００のＣＡＤデータ等の設計上の形状等に基づいて取得してもよいし、立体形状計測装置１０の近傍に設けられた３Ｄセンサ等による検査対象物９００の計測結果を取得してもよい。あるいは、後述するように、各画像に基づいて、検査対象物９００の表面に対応する撮影距離を算出することで検査対象物９００の表面の概形状を取得してもよい。この概形状によって検査対象物９００の表面までの撮影距離が分かるので、後述する各処理において、検査対象物９００の内部に合焦する撮影距離の画像を処理対象から外し処理量を軽減できる。
【００１６】
（ステップＳ１０３）：合焦位置算出部１３は、各画像を取得し、検査対象物９００の表面やその上方が合焦位置となる撮影距離で撮影した画像中の各部分の合焦度を算出する。合焦位置算出部１３は、各画像の一定の領域を対象領域として、対象領域内の輝度勾配の絶対値、輝度の分散値、あるいはエッジ強度等、種々の算出方法に基づいて、合焦度を算出することができる。なお、輝度勾配は、例えば、対象領域内の画像を構成する各画素について、その輝度値と、隣接する複数の画素のうち、１つ以上の輝度値との差分に基づいて算出されるものであり、種々の算出方法があるが、いずれかを適宜用いることができる。
【００１７】
図４、図５、図６に、実際の画像および合焦度の分布の例を示す。図４に示す第１画像においては、検査対象物９００の表面のうち、対象領域である点線Ｌに沿った部分の合焦度が高い。そのため、点線Ｌに沿った輝度値の変化が、検査対象物９００の表面を撮影した広い範囲において大きくかつ急峻である。このように、画像中の合焦度が高い部分が多いことによって、検査対象物９００の表面に合焦していることを検出することができ、表面までの撮影距離を算出することができる。
【００１８】
図５に示す第２画像は、第１画像と同様の範囲を撮影したものであるが、第１画像より撮影距離が大きく、第１画像の点線Ｌと同一位置の点線Ｌに沿った検査対象物９００の表面の合焦度が小さいが、表面からカメラ１１１方向に突出する微細突出部分９０１が識別でき、その部分の合焦度は大きい。そのため、点線Ｌに沿った輝度値の変化が、微細突出部分９０１を撮影した特定の範囲においてのみ大きくかつ急峻である。
【００１９】
図６に示す第３画像は、第１画像、第２画像と同様の範囲を撮影したものであるが、第２画像より撮影距離が大きく、第１画像、第２画像の点線Ｌと同一位置の点線Ｌに沿った検査対象物９００の表面および微細突出部分９０１の合焦度が小さい。そのため、点線Ｌに沿った輝度値の変化が、全範囲において小さい。図４、図５、図６に示す例では、点線Ｌに沿った輝度勾配の絶対値の平均値は、第１画像、第２画像、第３画像の順に小さくなる。
【００２０】
（ステップＳ１０４）：合焦位置算出部１３は、算出した各画像中の合焦度に基づいて、検査対象物９００の表面とその上方部分において、例えば合焦度が所定値以上である位置を合焦位置として算出する。図７に、相異なる撮影距離で撮影した各画像（左列）と、各画像からそれぞれ算出した合焦位置を示す各画像（右列）との例を示す。左列の各画像は上から下に向かう順に検査対象物９００の表面までの撮影距離を小さくして撮影したものである。右列の画像において、合焦位置を明るく示す。検査対象物９００の表面より上方に微細突出部分９０１に合焦した部分が存在することが確認できる。また、形状特定部１４は、合焦位置算出部１３が算出した各画像における合焦位置に基づいて、合焦位置の集合（合焦位置の分布範囲）を合焦分布として算出する。図８に合焦位置を示す各画像と、これらに基づいて算出された合焦分布を示す画像との例を示す。合焦分布は、合焦位置の高さ（ｚ方向）が高いほど明るく示し、また、見やすくするため輪郭の一部を点線で示す。
【００２１】
（ステップＳ１０５）：形状特定部１４は、検査対象物９００の合焦分布に基づいて、検査対象物９００の立体形状を特定する。図９の（ａ）に、特定された検査対象物９００の立体形状における微細突出部分９０１近傍の断面図の例を示す。図９の（ａ）に示すように、立体形状は、例えば合焦位置を表す点の集合として表される。
【００２２】
（ステップＳ１０６）：形状抽出部１５は、特定された立体形状から特徴を算出する。形状抽出部１５は、例えば、立体形状の特徴として、合焦位置を表す各点の分布方向、分布密度、各点における立体形状の法線の少なくとも１つを算出し、算出結果に基づいて、立体形状の各部分を構成する形状を抽出する。図９の（ｂ）に特徴抽出の例を示す。図９の（ｂ）に示す例では、形状抽出部１５は、合焦位置を表す各点の配置に基づいて、立体形状の各点における法線を算出する。さらに、形状抽出部１５は、近接する各点における法線に基づいて、各点における立体形状の曲率を算出する。そして形状抽出部１５は、曲率に基づいて、立体形状の各部分から、平面、曲面、突出物等の形状を抽出する。図９の（ｃ）に示す例では、形状抽出部１５は、丸印で示す、各点の配置が略同一面内にあり各方向に沿った曲率が小さい領域を平面部分として抽出し、四角印で示す、各点が平面部分から傾斜する細長い領域に分布しており、各点における紙面の面内方向に沿った曲率が小さいが、紙面前後方向に沿った曲率が大きい領域を、例えば線状の突出形状として抽出する。これは一例であって、形状の種別や抽出の方法は限定されない。また、形状抽出部１５は、算出した特徴や抽出した形状に基づいて、立体形状やその部分について、例えば平面部分の表面積や線状部分の長さのような各種寸法を算出するようにしてもよい。
【００２３】
図１０の（ａ）に合焦分布によって立体形状を示す図を、一部輪郭を点線で補って示し、図１０の（ｂ）に形状の抽出結果に応じて色分けされた立体形状を示す図を示す。図１０に示すように、立体形状の特徴に基づいて各部分の形状を抽出した結果、微細突出部分９０１の形状が検査対象物９００の表面とは好適に区別されて識別できる。なお、形状抽出部１５は、ステップＳ１０２で取得した検査対象物９００の表面の概形状の特徴を利用して、概形状部分と概形状には含まれない微細突出部分９０１との区別を行えば、とくに好適に微細突出部分９０１を抽出することができる。
【００２４】
（効果）
本発明によれば、撮影画像に基づいて合焦分布を算出し、検査対象物の立体形状を特定し、さらに立体形状の特徴を抽出して、各部分の形状を抽出する。これにより、検査対象物の表面の異物等の物体は、その立体形状が未知であっても、検査対象物の平坦な表面と明確に区別され、好適に特定できる。
【００２５】
なお、本発明は、立体形状計測装置として捉えるだけでなく、立体形状計測方法、立体形状計測装置のコンピューターが実行するプログラム、プログラムを格納したコンピューター読み取り可能な非一時的記録媒体として捉えることも可能である。
【産業上の利用可能性】
【００２６】
本発明は、物体表面の立体形状計測装置等に有用である。
【符号の説明】
【００２７】
１０    立体形状計測装置
１１    撮影部
１２    撮影制御部
１３    合焦位置算出部
１４    形状特定部
１５    形状抽出部
１１１    カメラ
１１２    カメラ支持部
１１３    載置部
９００    検査対象物
９０１    微細突出部分
【図１】
2020041976.tif 000003
【図２】
2020041976.tif 000004
【図３】
2020041976.tif 000005
【図４】
2020041976.tif 000006
【図５】
2020041976.tif 000007
【図６】
2020041976.tif 000008
【図７】
2020041976.tif 000009
【図８】
2020041976.tif 000010
【図９】
2020041976.tif 000011
【図１０】
2020041976.tif 000012