(57)【要約】【課題】計測精度を高めつつ、計測時間を短縮できる物体認識方法、高さ計測方法、及び、三次元計測方法を提供する。【解決手段】対象物（２）に向けて投影機（１０）から所定のパターンを投影する第１の工程と、対象物（２）からの反射光を撮像機（９）で複数回撮像する第２の工程と、複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、を含み、異なるパターンにおいて、第１の工程、第２の工程、及び、第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて対象物（２）の形状を認識することを特徴とする物体認識方法。【選択図】図３
2019158351.tif 000002
【特許請求の範囲】
【請求項１】
対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の形状を認識することを特徴とする物体認識方法。
【請求項２】
対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の高さを計測することを特徴とする高さ計測方法。
【請求項３】
対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の三次元形状を計測することを特徴とする三次元計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定のパターンが投影された対象物を撮像し、この撮像画像に基づいて対象物の形状等を認識又は計測する物体認識方法、高さ計測方法、及び、三次元計測方法に関するものである。
【背景技術】
【０００２】
対象物の形状（例えば、高さ等）を認識又は計測する方法としては、位相シフト法に基づく三次元計測方法が知られている（例えば、特許文献１参照）。この特許文献１に開示されている計測方法では、所定の光を発する光源と、該光源からの光を縞パターンに変換する格子板とを備えた照明装置を用いて、対象物に対し縞パターンを投影する。そして、格子板を動かすことにより、対象物に投影された縞パターンを動かしつつ、カメラにより対象物を撮像し、複数の撮像画像データを取得する。これらの複数の撮像画像データから位相シフト法により対象物の形状（具体的には、高さ）を計測する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１６３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、例えば、光源における光量のばらつきやカメラの受光部（すなわち、センサー）における受光感度のばらつき、さらには、特許文献１のように格子板を動かす場合には、格子板の移動の際の位置ばらつき等により、取得された撮像画像データ（具体的には、輝度値）がばらつく虞があった。このため、対象物の形状を正確に計測することができない虞があった。このような計測ばらつきを抑制するため、上記のような計測手順を繰り返して対象物の形状を複数回計測し、得られた計測データを平均化することも考えられるが、計測時間が長くなってしまう。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、計測精度を高めつつ、計測時間を短縮できる物体認識方法、高さ計測方法、及び、三次元計測方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の物体認識方法は、上記目的を達成するために提案されたものであり、対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の形状を認識することを特徴とする。
【０００７】
また、本発明の高さ計測方法は、対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の高さを計測することを特徴とする。
【０００８】
さらに、本発明の三次元計測方法は、対象物に向けて投影機から所定のパターンを投影する第１の工程と、
前記対象物からの反射光を撮像機で複数回撮像する第２の工程と、
前記複数回撮像された撮像画像の輝度値を画素毎に平均化する第３の工程と、
を含み、
異なるパターンにおいて、前記第１の工程、前記第２の工程、及び、前記第３の工程をそれぞれ実行し、得られた複数の平均化された画像データに基づいて前記対象物の三次元形状を計測することを特徴とする。
【０００９】
本発明によれば、計測時間を短縮しつつ、計測結果のばらつきを抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の三次元計測装置の一形態の構成を説明するブロック図である。
【図２】正弦波パターンを説明するグラフである。
【図３】計測方法について説明するフローチャートである。
【図４】従来の計測方法について説明するフローチャートである。
【図５】本発明と比較例との繰り返し精度及び計測時間を比較したグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を、添付図面を参照して説明する。なお、以下に述べる実施の形態では、本発明の好適な具体例として種々の限定がされているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００１２】
図１は、本発明に係る三次元計測装置１の一形態の構成を示すブロック図である。本実施形態における三次元計測装置１は、ステージ３、計測機群５、コンピューター６、及び、液晶ディスプレイ等の表示装置７等を備えており、対象物２の三次元形状（基準面からの高さ等）を、位相シフト法を用いて計測する。対象物２は、ステージ３上にセットされた載置板１２に載置される。この載置板１２の上面（計測機群５と対向する面）である載置面１３は、高さの基準となる基準面としても機能する。なお、載置板１２は、ステージ３内に組み込まれた図示しないモーター等により、Ｘ方向、Ｙ方向、Ｚ方向に移動可能に構成されている。
【００１３】
本実施形態における計測機群５は、撮像機９及び投影機１０を備えている。撮像機９は、例えば、レンズ等からなる光学系や、投影機１０から載置面１３又は当該載置面１３に載置された対象物２に対して投影された光の反射光を受光して電気信号に変換する受光素子等を備えている。この撮像機９は、載置面１３又は対象物２を撮影（以下、撮像ともいう）し、画像データに変換してコンピューター６に出力する。
【００１４】
投影機１０は、コンピューター６からの画像信号が入力されることにより、当該画像信号に応じた画像を投影するプロジェクターである。この投影機１０は、載置面１３又は当該載置面１３に載置された対象物２に向けて輝度値の明暗による縞状の正弦波パターン（本発明におけるパターンに相当）を投影する。本実施形態においては、予め位相を異ならせた正弦波パターンに対応する画像データが複数用意されており、コンピューター６により、これらのうちの１つが選択されて、選択された画像に対応する正弦波パターンが投影機１０から投影される。なお、投影機としては、光源、パターン格子、レンズ等を備え、光軸に対して交差する方向にパターン格子を移動させることにより、正弦波パターンの位相をシフトさせる構成を採用することもできる。
【００１５】
図２は、投影機１０から投影される正弦波パターンの一例を示すグラフである。図２における横軸は座標であり、縦軸は輝度値である。正弦波パターンは、図２に示すように、座標に対して輝度（又はコントラスト）が正弦波で変化するパターンである。本実施形態においては、周期及び振幅を変えずに、位相を異ならせた１６種類の正弦波パターンが投影機１０から投影可能なように構成されている。例えば、位相をπ／８ずつずらした１６種類の正弦波パターンが用意されている。なお、投影される正弦波パターンは１６種類に限られず、三次元計測において必要な種類の正弦波パターンを投影できればよい。例えば、位相シフト法を用いて三次元計測を行う場合、少なくとも位相を異ならせた３種類の正弦波パターンを用意すればよい。
【００１６】
本実施形態におけるコンピューター６は、図１に示すように、演算部１５及び記憶部１６を備えている。記憶部１６は、例えばハードディスクドライブ又はフラッシュメモリ等により構成されている。この記憶部１６には、オペレーションシステム、各種アプリケーションプログラム、演算用のデータ等のほか、投影機１０に投影させる正弦波パターンの画像データが記憶されている。そして、演算部１５は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、記憶部１６に記憶されたオペレーションシステムに従い、画像処理などの各種の処理を行う。また、撮像機９から入力された載置面１３又は対象物２の撮像画像データ（以下、単に撮像画像と称する）は、記憶部１６に記憶される。
【００１７】
次に、上記構成の三次元計測装置１において対象物２の計測を行う計測方法について説明する。図３は、本発明における計測方法について説明するフローチャートである。まず、１６種類の正弦波パターンから１つの正弦波パターンを選択し（ステップＳ１）、当該正弦波パターンを投影機１０から載置面１３に載置された対象物２に向けて投影する（ステップＳ２、本発明における第１の工程に相当）。次に、この状態、すなわち、１つの正弦波パターンが投影された状態で、撮像機９により対象物２からの反射光をｎ回（本実施形態においては、８回）連続して撮像（換言すると撮影）する（ステップＳ３、本発明における第２の工程に相当）。これにより、ｎ枚、即ち、本実施形態では８枚の撮像画像が得られる。ここで、投影される正弦波パターンを変えずに、連続して撮像を行ったとしても、投影機１０内の光源における光量のばらつきや撮像機９内の受光素子における受光感度のばらつき等の影響により、撮像画像にばらつきが生じる虞がある。このため、得られた８枚の撮像画像を画像処理により平均化することで、このばらつきを抑制する。すなわち、ステップＳ４において、８枚の撮像画像の輝度値を画素毎に平均化する（本発明における第３の工程に相当）。このようにして得られた、平均化された画像データ（以下、平均化画像という）は、記憶部１６に記憶される。
【００１８】
上記の平均化画像を取得する工程（すなわち、本発明における第１の工程、第２の工程、及び、第３の工程）は、１６種類の正弦波パターンの全てにおいて実行される。具体的には、１６種類の正弦波パターンの全てにおいて平均化画像が取得されたか否かを判定する（ステップＳ５）。１６種類の正弦波パターンの全てにおいて平均化画像が取得されていない場合（ステップＳ５においてＮＯの場合）、平均化画像が取得されていない正弦波パターン、すなわち既に平均化画像が取得された正弦波パターンとは位相が異なる正弦波パターンを選択し（ステップＳ６）、当該正弦波パターンを投影機１０から載置面１３に載置された対象物２に向けて投影する（ステップＳ２）。そして、上記したように、撮像機９により対象物２からの反射光を連続してｎ回撮像し（ステップＳ３）、撮像画像を画像処理により平均化する（ステップＳ４）。このようにして、１６種類の正弦波パターンの全てにおいて平均化画像が取得されたならば（ステップＳ５においてＹＥＳ）、これら１６枚の平均化画像に基づいて、公知の位相シフト法により高さを求める計算処理を行う（ステップＳ７）。そして、得られた計測結果データは、記憶部１６に記憶され、計測を終了する。以上により、対象物２の立体的な三次元形状を精度よく計測することができる。
【００１９】
このように、複数の撮像画像（本実施形態においては、８枚の撮像画像）を平均化して、平均化画像を作製したので、計測結果のばらつきを抑制することができる。また、正弦波パターンを変えずに連続して対象物２を撮像したので、正弦波パターンの切り替え時間を短縮することができる。すなわち、１６種類の正弦波パターンを１回ずつ撮像し、１６種類の撮像画像から位相シフト法により高さを求める一連の工程を複数回（例えば、８回）行い、最後に計測結果データを平均化する計測方法と比べて、正弦波パターンの切り替え回数を少なくすることができる。特に、投影機１０が液晶パネル等を用いたプロジェクターの場合、画像の切り替えに１フレームの時間を要するため、正弦波パターンの切り替え回数を少なくすることで、顕著な効果が得られる。さらに、１６種類の正弦波パターンを１回ずつ撮像し、１６種類の撮像画像から位相シフト法により高さを求める一連の工程を複数回（例えば、８回）行い、最後に計測結果データを平均化する計測方法と比べて、高さを求める計算処理を行う回数が少なくなる。その結果、計測結果のばらつきを抑制しつつ、計測時間を短縮することが可能になる。
【００２０】
次に、比較例として、１６種類の正弦波パターンを１回ずつ撮像し、１６種類の撮像画像から位相シフト法により高さを求める一連の工程を複数回（例えば、８回）行い、最後に計測結果データを平均化する計測方法を説明する。図４は、当該計測方法について説明するフローチャートである。本計測方法の場合、まず、１６種類の正弦波パターンから１つの正弦波パターンを選択し（ステップＳ１１）、当該正弦波パターンを投影機１０から載置面１３に載置された対象物２に向けて投影する（ステップＳ１２）。次に、この状態、すなわち、１つの正弦波パターンが投影された状態で、撮像機９により対象物２からの反射光を１回撮像する（ステップＳ１３）。この一連の工程を、１６種類の正弦波パターンの全てにおいて実行する。具体的には、１６種類の正弦波パターンの全てにおいて撮像画像が取得されたか否かを判定する（ステップＳ１４）。１６種類の正弦波パターンの全てにおいて撮像画像が取得されていない場合（ステップＳ１４においてＮＯの場合）、撮像画像が取得されていない正弦波パターンを選択し（ステップＳ１５）、当該正弦波パターンを投影機１０から載置面１３に載置された対象物２に向けて投影する（ステップＳ１２）。そして、撮像機９により対象物２からの反射光を１回撮像し、撮像画像を取得する（ステップＳ１３）。このような工程を繰り返して、１６種類の正弦波パターンの全てにおいて撮像画像が取得されたならば（ステップＳ１４においてＹＥＳ）、これら１６枚の撮像画像に基づいて、公知の位相シフト法により高さを求める計算処理を行う（ステップＳ１６）。
【００２１】
その後、同様の処理を複数回行う。具体的には、高さを求める計算処理がｎ回（例えば、８回）行われたか否かを判定する（ステップＳ１７）。ｎ回（例えば、８回）行われていない場合（ステップＳ１７においてＮＯの場合）、上記したステップＳ１１からステップＳ１６までの一連の工程を再び実行する。すなわち、１６種類の正弦波パターンの切り替えが再度行わる。そして、同様の処理がｎ回（例えば、８回）行われ、これに応じた複数（例えば、８つ）の高さデータが取得されたならば（ステップＳ１７においてＹＥＳ）、これら複数（例えば、８つ）の高さデータを平均化する処理を行う（ステップＳ１８）。得られた計測結果データは、記憶部１６に記憶され、計測を終了する。これにより、対象物２の立体的な三次元形状を精度よく計測することができる。
【００２２】
要するに、上記した比較例の場合、正弦波パターンの切り替えが１６回×ｎ回（８回）となるのに対し、本発明の場合、正弦波パターンを変えずにｎ回（８回）撮像するため、正弦波パターンの切り替えが１６回となる。また、上記した比較例の場合、位相シフト法による計算処理がｎ回（８回）となるのに対し、本発明の場合、平均化画像を用いて計算処理を行うため、計算処理が１回となる。このため、本発明においては、計測結果のばらつきを抑制しつつ、計測時間を短縮することが可能になる。
【００２３】
図５は、本発明における計測方法と比較例における計測方法とを比較したグラフである。図５に示す「〇」は、繰り返し精度（すなわち、計測精度）の値を表し、「×」は、計測時間を表している。また、左の縦軸が繰り返し精度であり、右の縦軸が計測時間［ｓ］である。繰り返し精度は、数値が高いほどより計測精度が高いことを示している。即ち、図５の例では、繰り返し精度が「１」である場合に計測精度が最も高く、これよりも値が小さくなるほど（即ち、「０．４」に近づくほど）精度が低下する。図５に示すように、計測精度においては、本発明における計測方法と比較例における計測方法との間にほとんど差が無いことが分かる。一方、計測時間においては、本発明における計測方法の方が、比較例における計測方法よりも約０．３［ｓ］短縮されていることが分かる。このように、本発明の計測方法を用いることで、計測精度を維持したまま、計測時間を短縮することができる。
【００２４】
ところで、本発明は、上記した実施形態に限定されるものではなく、特許請求の範囲の記載に基づいて種々の変形が可能である。例えば、１つの正弦波パターンを撮像する回数は、８回に限られず、計測精度に応じて任意に設定できる。また、正弦波パターンの種類は、１６種類に限られず、計測精度に応じて任意の種類に設定できる。さらに、対象物２の高さを求める計算処理は、位相シフト法に限られず、その他の方法を採用することもできる。例えば、空間コード化法を用いた計算処理により、対象物２の高さを求めることができる。なお、空間コード化法を用いた計算処理を行う場合、投影されるパターンは、例えば、白黒の２値化された縞パターンである。この場合、縞幅が異なる縞パターン（例えば、縞幅が画面の半分、４分の１、８分の１、１６分の１等のように段階的に細くなっていく縞パターン）が順次投影される。
【００２５】
そして、以上においては、三次元計測装置１において、対象物２の三次元形状を計測する三次元計測方法を説明したが、その他の装置にも本発明を適用できる。物体認識装置において、対象物の形状（例えば、どの位置にどのようなパターンが形成されているのか等）を位相シフト法等により認識する物体認識方法にも本発明を適用できる。また、高さ計測装置において、対象物の高さ（例えば、所定の位置における基準面からの高さや厚さ等）を位相シフト法等により計測する高さ計測方法にも本発明を適用できる。要するに、対象物に対して複数のパターンを投影すると共に投影されたパターン毎に撮像し、得られた複数の撮像画像から画像処理を行う方法において、本発明を適用できる。
【符号の説明】
【００２６】
１…三次元計測装置，２…対象物，３…ステージ，５…計測機群，６…コンピューター，７…表示装置，９…撮像機，１０…投影機，１２…載置板，１３…載置面，１５…演算部，１６…記憶部
【図１】
2019158351.tif 000003
【図２】
2019158351.tif 000004
【図３】
2019158351.tif 000005
【図４】
2019158351.tif 000006
【図５】
2019158351.tif 000007