(57)【要約】      （修正有）【課題】計測対象の物体との衝突を好適に回避できる立体形状計測装置を提供する。【解決手段】物体９００の立体形状を計測する立体形状計測装置は、合焦位置までの距離が一定であるカメラ１１１を含み、物体を撮影する撮影部１１と、カメラを保持し、物体までの撮影距離が可変である保持部１１２と、保持部およびカメラを制御して、複数の撮影距離で撮影を行わせる制御部と、カメラが撮影した各画像の合焦位置を、各画像の各部分における合焦度に基づいて算出する合焦位置算出部と、合焦位置算出部が算出した合焦位置に基づいて、物体の立体形状を特定する形状特定部とを備え、制御部は、予め、１回以上の撮影によって得られたカメラの通過範囲を含む画像を取得し、取得した画像に基づいてカメラの通過範囲内の物体の概形状を特定し、特定した概形状に基づいてカメラと物体とが衝突する撮影距離の位置へのカメラの移動を抑制する。【選択図】図４
2020101401.tif 000002
【特許請求の範囲】
【請求項１】
物体の立体形状を計測する立体形状計測装置であって、
合焦位置までの距離が一定であるカメラを含み、前記物体を撮影する撮影部と、
前記カメラを保持し、前記物体までの撮影距離が可変である保持部と、
前記保持部および前記カメラを制御して、複数の撮影距離で撮影を行わせる制御部と、
前記カメラが撮影した各画像の合焦位置を、各前記画像の各部分における合焦度に基づいて算出する合焦位置算出部と、
前記合焦位置算出部が算出した合焦位置に基づいて、前記物体の立体形状を特定する形状特定部とを備え、
前記制御部は、予め、１回以上の撮影によって得られた前記カメラの通過範囲を含む画像を取得し、取得した前記画像に基づいて前記カメラの通過範囲内の前記物体の概形状を特定し、特定した前記概形状に基づいて前記カメラと前記物体とが衝突する撮影距離の位置への前記カメラの移動を抑制する、立体形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の表面の立体形状を計測する立体形状計測装置に関する。
【背景技術】
【０００２】
製品等の物体の検査のため、その表面の立体形状を撮影して非接触で計測する装置が知られている。このような立体形状計測装置においては、レンズ等を含む撮影部と計測対象である物体との距離を可変に制御して、複数の撮影距離で物体を撮影することが行われる。撮影部が計測対象物の計測対象範囲やその周囲に衝突すると、これらが破損するおそれがあるため、衝突を防ぐことが求められる。特許文献１は、このような立体形状計測装置において、物体の形状計測用に撮影を行う撮影部とは別に、撮影部の撮影方向に直交する方向から、撮影部の対物レンズと物体とを撮影する他の撮影部を設けて、他の撮影部の撮影画像に基づいて対物レンズと物体との距離を監視して衝突を防ぐことを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１３６０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、物体の形状計測用に撮影を行う撮影部の撮影方向と、他の撮影部の撮影方向とが直交している。そのため、物体の形状によっては、撮影部の撮影方向に沿った移動範囲に存在して撮影部と衝突するおそれのある部分が、他の撮影部からは、その手前の他の部分によって隠れて見えず、衝突の回避が適切にできないおそれがある。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、計測対象の物体との衝突を好適に回避できる立体形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一局面は、物体の立体形状を計測する立体形状計測装置であって、合焦位置までの距離が一定であるカメラを含み、物体を撮影する撮影部と、カメラを保持し、物体までの撮影距離が可変である保持部と、保持部およびカメラを制御して、複数の撮影距離で撮影を行わせる制御部と、カメラが撮影した各画像の合焦位置を、各画像の各部分における合焦度に基づいて算出する合焦位置算出部と、合焦位置算出部が算出した合焦位置に基づいて、物体の立体形状を特定する形状特定部とを備え、制御部は、予め、１回以上の撮影によって得られたカメラの通過範囲を含む画像を取得し、取得した画像に基づいてカメラの通過範囲内の物体の概形状を特定し、特定した概形状に基づいてカメラと物体とが衝突する撮影距離の位置へのカメラの移動を抑制する、立体形状計測装置である。
【発明の効果】
【０００７】
本発明によれば、計測対象の物体との衝突を好適に回避できる立体形状計測装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る立体形状計測装置の機能ブロック図
【図２】本発明の一実施形態に係る撮影部の模式側面図
【図３】本発明の一実施形態に係る処理を示すフローチャート
【図４】本発明の一実施形態に係る撮影方法を示す模式図
【図５】本発明の一実施形態に係る撮影方法を示す模式図
【図６】本発明の一実施形態に係る撮影方法を示す模式図
【図７】本発明の一実施形態に係る撮影方法を示す模式図
【図８】本発明の一実施形態に係る拡大範囲の撮影画像の例を示す図
【図９】本発明の一実施形態に係る拡大範囲の撮影画像の例を示す図
【図１０】本発明の一実施形態に係る計測対象範囲の撮影画像と合焦位置との例を示す図
【図１１】本発明の一実施形態に係る合焦分布による立体形状特定の例を示す図
【発明を実施するための形態】
【０００９】
（実施形態）
本発明に係る立体形状計測装置は、カメラが物体の計測対象範囲を複数の撮影距離で撮影して、撮影した画像の合焦度に基づいて、計測対象範囲の立体形状を特定する。また、カメラが、これより前に、計測対象範囲より広い範囲を撮影し、計測対象の周囲の概形状を取得して、カメラが計測対象範囲を撮影する際の物体への衝突を回避する。
【００１０】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
【００１１】
＜構成＞
図１に、本実施形態における立体形状計測装置１０の機能ブロック図を示す。立体形状計測装置１０は、撮影部１１、制御部１２、合焦位置算出部１３、形状特定部１４を含む。図２に立体形状計測装置１０の側面形状の一例を模式的に示す。撮影部１１は、カメラ１１１と、カメラ１１１を保持する保持部１１２と、物体９００を載置する載置部１１３とを含む。カメラ１１１は、カメラ１１１から合焦位置までの距離が固定されている。保持部１１２は、カメラ１１１の高さを可変に保持する。これによりカメラ１１１と物体９００との距離（撮影距離ｄ）を可変に設定することができる。物体９００は、例えば電子部品が実装された基板を搭載した筐体である。このうち、一例として、筐体の側壁に囲まれた基板上の電子部品が計測対象９０１である。一般に、カメラ１１１は計測対象９０１より大きいので、物体９００が存在しない場合にカメラ１１１が通過できる空間の範囲である通過範囲は、計測対象９０１だけでなくその近傍も含む。なお、カメラ１１１の通過範囲とは、カメラ１１１の全体の通過範囲とは限らず、カメラ１１１のうち、例えば対物レンズやレンズフード等、物体９００に接触しうる部分として適宜特定した部分の通過範囲を意味してもよい。
【００１２】
制御部１２は、撮影部１１を制御し、カメラ１１１に複数の撮影距離において物体９００を撮影させることができる。撮影された画像は、画像を撮影した際の撮影距離を対応付けて、図示しない記憶部に記憶される。合焦位置算出部１３は、記憶部から各画像を取得し、画像の各部分の合焦度を算出し、合焦度に基づいて、さらに合焦位置を算出する。形状特定部１４は、合焦位置に基づいて、計測対象９０１とその上方の空間とを含む計測対象範囲における合焦位置の集合である合焦分布を算出し、合焦分布に基づいて計測対象９０１の立体形状を特定する。
【００１３】
＜処理＞
本実施形態に係る処理の例を説明する。図３は、立体形状計測装置１０が行う、立体形状を特定する処理を示すフローチャートである。本処理は、載置部１１３に物体９００を載置して、開始する。
【００１４】
（ステップＳ１０１）：制御部１２は、撮影部１１を制御して、カメラ１１１で上述した通過範囲を含む範囲（拡大範囲とよぶ）を含む画像を撮影させる。すなわち、本ステップでカメラ１１１が撮影する画像は、画角内にカメラ１１１の通過範囲を含む。ここで、カメラ１１１の高さは、例えば予め取得した物体９００の設計上の形状等に基づいてカメラ１１１が物体９００に衝突しない十分な高さに設定することができる。拡大範囲の撮影方法は限定されないが、例えば、カメラ１１１の撮影倍率の切り替えにより、計測対象範囲を撮影する場合より画角を広角に変化させて撮影することで、拡大範囲を撮影できる。以下に他の方法の例を示す。図４に示す例では、保持部１１２は、カメラ１１１を、撮影方向とは垂直な方向（水平方向）に移動可能であり、カメラ１１１を水平方向に移動させながら複数の画像を撮影することによって、複数の画像に分けて拡大範囲の全体を撮影する。図５に示す例では、カメラ１１１として、撮影範囲の周縁部のみを広角に撮影できる非球面レンズを備えたカメラを用いて、１回の撮影によって拡大範囲を撮影する。図６に示す例では、載置部１１３に設けられた駆動手段により物体９００が移動可能であり、カメラ１１１より広角のカメラ２１１を用意し、カメラ１１１の代わりにカメラ２１１によって、カメラ１１１の位置に移動する前の物体９００を、カメラ１１１の撮影方向と同一の方向から撮影することによって拡大範囲を撮影する。また、これらの例において、撮影方向は１つでなくてもよく、カメラ１１１の通過範囲が隠れることなく撮影できれば図７に示すように、複数の撮影方向から撮影してもよい。また、カメラ１１１が物体９００に衝突しない十分な高さの範囲で複数の撮影距離で撮影してもよい。
【００１５】
（ステップＳ１０２）：制御部１２は、ステップＳ１０１で撮影した拡大範囲の画像に基づいて、通過範囲における物体９００の概形状を特定する。概形状の特定方法は限定されない。例えば、複数の撮影距離で画像を撮影した場合、後述するステップＳ１０５〜Ｓ１０７と同様の合焦度に基づく方法によって概形状を算出してもよい。また、水平方向にカメラを移動させて複数の画像を撮影した場合、ＳｆＭ（Structure from Motion）解析やオプティカルフロー法等、移動ステレオ法の手法によって概形状を算出してもよい。図８および図９に拡大範囲の画像の例を示す。図８は撮影距離ｄ１で拡大範囲を撮影した画像であり、図９は撮影距離ｄ２（＞ｄ１）で略同じ範囲を撮影した画像である。図８では、計測対象９０１であるチップコンデンサの合焦度がチップコンデンサの近くにある円形の他の電子部品の合焦度より高い。また、図９では、他の電子部品の合焦度がチップコンデンサの合焦度より高い。このことから、他の電子部品は、チップコンデンサより、基板からの高さが高くカメラ１１１に近い位置にあることが分かる。
【００１６】
（ステップＳ１０３）：制御部１２は、物体９００の概形状に基づいて、拡大範囲に含まれる通過範囲のうち計測対象範囲の周囲に、計測対象９０１に合焦する位置にカメラ１１１が近付くまでに衝突して障害物となるような、例えば計測対象９０１より高い形状があるか否かを判定する。図８および図９に示す例では、カメラ１１１が、計測対象９０１であるチップコンデンサに近づいた場合、先に円形状の他の電子部品に衝突して障害物となる。計測対象範囲の周囲に、このような障害となる形状がない場合、ステップＳ１０４に進み、障害となる形状がある場合にステップＳ１０８に進む。
【００１７】
（ステップＳ１０４）：制御部１２は、撮影部１１を制御して、カメラ１１１で上述した計測対象範囲を、撮影距離を変えながら複数回撮影させる。複数の撮影距離の各々は、例えば、ステップＳ１０２で特定した概形状に基づいて、カメラ１１１と物体９００とが衝突しない範囲内で設定される。
【００１８】
（ステップＳ１０５）：合焦位置算出部１３は、相異なる撮影距離で計測対象範囲を撮影した各画像中の各部分の合焦度を算出する。合焦位置算出部１３は、各画像の一定の領域を対象領域として、対象領域内の輝度勾配の絶対値、輝度の分散値、あるいはエッジ強度等、種々の算出方法に基づいて、合焦度を算出することができる。なお、輝度勾配は、例えば、対象領域内の画像を構成する各画素について、その輝度値と、隣接する複数の画素のうち、１つ以上の輝度値との差分に基づいて算出されるものであり、種々の算出方法があるが、いずれかを適宜用いることができる。
【００１９】
（ステップＳ１０６）：合焦位置算出部１３は、算出した各画像中の合焦度に基づいて、例えば合焦度が所定値以上である位置を合焦位置として算出する。図１０に、相異なる撮影距離で撮影した各画像（左列）と、各画像からそれぞれ算出した合焦位置を示す各画像（右列）との例を示す。左列の各画像は上から下に向かうにつれて撮影距離を順に小さくして撮影したものである。右列の画像において、合焦位置を明るく示す。なお、計測対象９０１の表面から突出した微細な突出部分９０２が存在し、突出部分９０２に合焦した部分が確認できる。
【００２０】
（ステップＳ１０７）：形状特定部１４は、合焦位置算出部１３が算出した各画像における合焦位置に基づいて、合焦位置の集合（合焦位置の分布範囲）を合焦分布として算出する。図１１に合焦位置を示す各画像と、これらに基づいて算出された合焦分布を示す画像との例を示す。合焦分布を示す画像においては、見やすくするため輪郭の一部を点線で示す。このように合焦分布を算出することによって、計測対象９０１の立体形状を特定することができる。以上で処理は終了となる。
【００２１】
（ステップＳ１０８）：本ステップにおいては、カメラ１１１と物体９００との相対位置を変更する。そのために保持部１１２がカメラ１１１を水平方向に移動させてもよいし、載置部１１３に物体９００を移動させる駆動手段を設けて物体９００を移動させてもよい。これにより、計測対象９０１に合焦する位置にカメラ１１１が近付くまでのカメラ１１１の通過範囲から障害物となるような形状が外れる可能性がある。この後ステップＳ１０１に進む。これにより、カメラ１１１が物体９００に衝突する位置にカメラ１１１が移動することを抑制し、衝突を回避する。あるいは、立体形状計測装置１０は、本ステップで、物体９００の検査を中断しユーザーに通知し、人手によってカメラ１１１と物体９００との相対位置が変更された後、ステップＳ１０１から再び処理を行ってもよい。
【００２２】
（効果）
本発明に係る立体形状計測装置は、カメラが、計測対象範囲より広い拡大範囲を撮影し、計測対象の周囲の概形状を取得して、カメラが計測対象範囲を撮影する際の物体への衝突を回避する。拡大範囲として、カメラの撮影方向から見てカメラが通過する範囲を撮影するので、衝突するおそれのある部分が隠れることがなく、好適に衝突の回避を行うことができる。また、計測対象範囲を撮影するカメラを用いて拡大範囲を撮影する場合は、異なるカメラを用いて拡大範囲を撮影する場合よりコストを低減できる。
【００２３】
なお、本発明は、立体形状計測装置として捉えるだけでなく、立体形状計測方法、立体形状計測装置のコンピューターが実行するプログラム、プログラムを格納したコンピューター読み取り可能な非一時的記録媒体等として捉えることも可能である。
【産業上の利用可能性】
【００２４】
本発明は、物体表面の立体形状を計測する装置等に有用である。
【符号の説明】
【００２５】
１０    立体形状計測装置
１１    撮影部
１２    制御部
１３    合焦位置算出部
１４    形状特定部
１１１、２１１    カメラ
１１２    保持部
１１３    載置部
９００    物体
９０１    計測対象
９０２    微細突出部分
【図１】
2020101401.tif 000003
【図２】
2020101401.tif 000004
【図３】
2020101401.tif 000005
【図４】
2020101401.tif 000006
【図５】
2020101401.tif 000007
【図６】
2020101401.tif 000008
【図７】
2020101401.tif 000009
【図８】
2020101401.tif 000010
【図９】
2020101401.tif 000011
【図１０】
2020101401.tif 000012
【図１１】
2020101401.tif 000013