(57)【要約】      （修正有）【課題】警告メッセージを表示しようとする領域に平面でない面が含まれる場合でも、表示されるメッセージを認識し易い投影方法を提供する。【解決手段】パターン光を投影された対象物体の撮像画像に基づいて前記対象物体の形状情報を算出する計測方法であって、対象物体を照射して対象物体の撮像画像を取得する第１工程と、第１工程で照射された対象物体の撮像画像に基づいてパターン光の投影開始を警告する告知を表示する告知領域を算出する第２工程と、告知領域に告知を表示する第３工程とを有する。【選択図】図１
2016206046.tif 000002
【特許請求の範囲】
【請求項１】
パターン光を投影された対象物体の撮像画像に基づいて前記対象物体の形状情報を算出する計測方法であって、
前記対象物体を照射して前記対象物体の撮像画像を取得する第１工程と、
前記第１工程で照射された前記対象物体の撮像画像に基づいて前記パターン光の投影開始を警告する告知を表示する告知領域を算出する第２工程と、
前記告知領域に前記告知を表示する第３工程と、を有することを特徴とする計測方法。
【請求項２】
予め設定された前記対象物体の設置領域を用いて前記告知領域を算出することを特徴とする請求項１に記載の計測方法。
【請求項３】
前記パターン光を投影する投影手段を駆動することにより、前記告知領域に前記告知を表示することを特徴とする請求項１または２のいずれか１項に記載の計測方法。
【請求項４】
前記対象物体を設置するステージを駆動することにより、前記告知領域に前記告知を表示することを特徴とする請求項１または３のいずれか１項に記載の計測方法。
【請求項５】
前記告知は、点滅光であることを特徴とする請求項１乃至４のいずれか１項に記載の計測方法。
【請求項６】
前記告知は、ストライプパターンであることを特徴とする請求項１乃至４のいずれか１項に記載の計測方法。
【請求項７】
前記告知は、文字または数字による警告であることを特徴とする請求項１乃至４のいずれか１項に記載の計測方法。
【請求項８】
パターン光を投影された対象物体の撮像画像に基づいて前記対象物体の形状情報を算出する計測装置であって、
前記パターン光を投影する投影手段と、
対象物体を撮像する撮像手段と、
前記パターン光の投影開始を警告する告知を表示する告知領域を前記撮像手段により得られた撮像画像に基づいて算出する算出手段と、
前記告知領域に前記告知を表示する警告表示手段と、を有することを特徴とする計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測方法および計測装置に関する。
【背景技術】
【０００２】
被検物にパターン光（明暗の縞パターンなど）を投影し、投影像を撮像することで被検物の形状を計測する方法がある。計測精度を向上させるためには、投影像のコントラスト（明暗差など）を強くする必要がある。この場合、眼に悪影響を与えるパターン光を被検物に投影することがある。これに対し、特許文献１は、眼に悪影響を与える光（レーザ光）が直接的または間接的に眼に入ることを防止するため、レーザー光を出射する前に警告メッセージをスクリーンに表示する投影装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０２９２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の投影装置は、警告メッセージ表示領域が平面であることを前提にしている。そのため、警告メッセージを表示しようとする領域に平面でない面（凸凹面など）が含まれる場合、表示されるメッセージの認識が困難になる可能性がある。
【０００５】
本発明は、例えば、警告メッセージを表示しようとする領域に平面でない面が含まれる場合でも、表示されるメッセージを認識し易い計測方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、パターン光を投影された対象物体の撮像画像に基づいて前記対象物体の形状情報を算出する計測方法であって、前記対象物体を照射して前記対象物体の撮像画像を取得する第１工程と、前記第１工程で照射された前記対象物体の撮像画像に基づいて前記パターン光の投影開始を警告する告知を表示する告知領域を算出する第２工程と、前記告知領域に前記告知を表示する第３工程とを有することを特徴とする。  
【発明の効果】
【０００７】
本発明によれば、警告メッセージを表示しようとする領域に平面でない面が含まれる場合でも、表示されたメッセージを認識し易い計測方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る三次元形状測定装置の構成を示す図である。
【図２】第１実施形態に係るパターン投影の一例を示す図である。
【図３】三次元形状測定装置の制御手段の構成を示すブロック図である。
【図４】三次元形状測定装置の基本的な処理を示すフローチャートである。
【図５】低光量測定の処理を示すフローチャートである。
【図６】警告画像表示エリア算出処理を示すフローチャートである。
【図７】警告画像表示の処理を示すフローチャートである。
【図８】通常測定の処理を示すフローチャートである。
【図９】第１実施形態に係る警告表示の一例を示す図である。
【図１０】第２実施形態に係る被検物の一例を示す図である。
【図１１】第２実施形態に係る基本的な処理を示すフローチャートである。
【図１２】警告画像表示エリア更新の処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面などを参照して説明する。
【００１０】
（第１実施形態）
図１は、本実施形態に係る三次元形状測定装置の構成を示す図である。まず、三次元形状測定装置１は、測定ヘッド２とＰＣ３から構成される。ＰＣ３は、測定の開始や測定ヘッド２の制御、測定ヘッド２の測定結果の受信、測定結果の描画機能などを行う。次に、測定ヘッド２は、投影手段４と撮像手段５と制御手段６から構成される。また、投影手段４は、像形成部７と、光源８と、像形成部７の像を被検物（対象物体）Ｗに投影する投影光学系９から構成される。
【００１１】
次に、光源８は、略４５５ｎｍを中心波長とするＬＥＤ光源である。なお、光源８は、被検物Ｗに十分明るいパターンを投影できればよく、他の波長を中心としたＬＥＤ光源や、ハロゲン光源であってもよい。また、像形成部７は透過式の液晶パネルだけでなく、反射式の液晶パネルや多数の小型ミラーを敷き詰めた反射パネルでもよい。そして、撮像手段５は、撮像素子１０と被検物Ｗへ投影されたパターン光を撮像素子上に輝度分布として結像し、撮像する撮像光学系１１を有する。撮像素子１０は、２次元イメージセンサであり、例えばＣＣＤ方式やＣＭＯＳ方式のイメージセンサである。そして、撮像光学系１１は、光学レンズである。
【００１２】
次に、投影手段４および撮像手段５について説明する。投影手段４は、制御手段６からの指令によって、像形成部７でストライプ状のパターン像を形成し、光源８を点灯する。そして、光源８を発した光が像形成部７を透過することでパターン像となり、投影光学系９によりステージ上の被検物Ｗに結像する。そして、撮像手段５は、制御手段６からの指令によって、被検物Ｗに投影されたパターン像を撮像し、この画像データを制御手段６に送出する。なお、図１の下図は被検物を上面から見た図である。
【００１３】
次に、図２を用いて本実施形態に係るパターン投影法に関して説明する。図２は、パターン投影法の一つである空間符号化法を説明するための図である。ここで、まず空間符号化法について説明する。空間符号化法は複数本のライン光から成るパターン光を被検物Ｗに投影し、空間内を時間方向の符号化を用いてライン番号を識別する方法である。複数本のライン光のライン番号は、例えば、グレイコード法等を用いて識別する。図２（ａ）は、グレイコード法のパターンを表す図であり、左から１ｂｉｔ、２ｂｉｔ及び３ｂｉｔのグレイコードパターンを表している。なお、４ｂｉｔ以降のグレイコードパターンについては省略する。
【００１４】
空間符号化法では、図２（ａ）に示すグレイコードパターンを順番に被検物に投影し、画像の撮像を実施する。そして、取得した撮像画像から各ビットでバイナリ値を算出する。具体的には、各ビットで撮像画像の画像輝度が閾値以上である場合、その領域のバイナリ値を１とする。一方で、閾値未満である場合、その領域のバイナリ値を０とする。そして、各ビットでのバイナリ値を順に並べ、その領域のグレイコードとする。そして、グレイコードを空間コードに変換し、距離計測を行う。
【００１５】
閾値の決定方法としては、例えば、相補パターン投影法が用いられる。具体的には、図２（ａ）に示すグレイコードパターン（ポジパターン）に対し、白黒が反転している図２（ｂ）に示すネガパターンを測定対象物に投影し、画像撮像を行う。また、図２（ｃ）は、被検物にパターン光を照射した際の輝度変化を示す。輝度変化は、理想的には輝度の立ち上がり・立ち下がり部についてはインパルス状となるが、パターン光のボケや被写体（被検物）の反射率等の影響により、通常はなだらかな直線または曲線を描く。そして、相補パターン投影法では、ポジパターンとネガパターンの交点位置ｘｃを求める事で、これらの影響を抑え、バイナリ値の切り替り位置を精度良く求める事ができる。
【００１６】
次に、図３を用いて三次元形状測定装置１の制御手段６について説明する。図３は、本実施形態に係る三次元形状測定装置１の制御手段６のブロック図である。制御手段６は、記憶部１２、演算部１３、制御部１４を有する。記憶部１２は、像形成部７で、測定用のパターン光を生成するための測定パターンデータと、被検物の三次元形状データ、および警告表示情報データなどを記憶する。
【００１７】
演算部１３は、交点算出部１５、三次元形状算出部１６、警告表示位置算出部１７を有する。交点算出部１５は、ポジパターンとネガパターンの交点位置ｘｃを求め、バイナリ画像を算出する。そして、三次元形状導出部１６は、各パターン光照射により取得し算出したバイナリ画像から各領域のグレイコードを生成する。そして、距離情報を生成後、三次元形状データ（形状情報）を算出する。警告表示位置算出部１７は、三次元形状データから、警告表示を表示する位置を算出する。
【００１８】
次に、制御部１４は、ＰＣ３、投影手段４、撮像手段５、記憶部１２、演算部１３との通信、動作タイミング、データ送受を制御する。測定開始（パターン光の投影開始）は、所定のタイミング又は作業者から指示されたタイミングで開始され、記憶部１２に記憶された測定パターンデータを読み出し、投影手段４に対して、所定のパターン光を被検物Ｗに投影することを指示する。そして、同時に撮像手段５に対し、被検物Ｗ上のパターン光を撮像することを指示する。また、算出した三次元形状データの保存や、後述する警告画像情報などの処理の制御を行う。
【００１９】
次に、図４は、本実施形態に係る三次元形状測定装置１の基本的な処理を示すフローチャートである。本実施形態では、計測可能な範囲に被検物Ｗを設置した場合を想定している。まず、ステップＳ１において、パターン光の投影に先立ち低光量による被検物の形状測定を実施する。次に、ステップＳ２において、取得した被検物Ｗの三次元形状データから被検物設置位置（設置領域）を推定し、その設置位置以外のエリアを警告画像表示エリア（告知領域）として記憶する。次に、ステップＳ３において、取得した警告画像表示エリアに所定の警告画像を所定時間表示する。そして、ステップＳ４で、通常の形状測定を実施する。以下、ステップＳ１からＳ４の各処理の詳細について説明する。
【００２０】
まず図５を用いて、低光量測定処理について詳細に説明する。まず、ステップＳ１０１において、光源の光量を通常の測定時よりも十分低く設定する。本測定は、被検物の概略の設置位置を推定できればよいため、通常の高光量での計測は必要としない。具体的には、概略の形状測定ができる程度の光量でよく、作業者が直視しても眼に損傷を与えない光量であることが望ましい。次に、ステップＳ１０２において、記憶部１２から測定用のパターン画像を読み込み、像形成部７に送信する。そして、ステップＳ１０３において、読み込んだパターン画像を元に像形成部７で所望のパターン像を形成する。
【００２１】
次に、ステップＳ１０４において、光源８が発した光が像形成部８を透過することで、パターン像となり、投影光学系９により被検物Ｗに結像する。そして、ステップＳ１０５において、撮像手段５が制御手段６からの指令によって、被検物Ｗに投影されたパターン像を撮像する。そして、ステップＳ１０６において、所定枚数のパターン画像を投影・撮像を実施し、画像取得が完了したか否かを判定する。画像取得が完了している場合（ステップＳ１０６）（Ｙｅｓ）、処理をステップＳ１０７に進める。一方、画像取得が完了していない場合（ステップＳ１０６）（Ｎｏ）、ステップＳ１０２に処理が戻る。
【００２２】
次に、ステップＳ１０７において、交点算出部１５が、撮像した複数の画像から交点算出を実施する。そして、ステップＳ１０８において、三次元形状データ算出部１６が、交点算出したデータから三次元形状データを算出し、ステップＳ１０９で算出した三次元形状データを記憶部１２に記憶する。
【００２３】
次に、図６を用いて警告画像表示エリア算出処理について詳細に説明する。まず、ステップＳ２０１において、取得した被検物の三次元形状データを読み込む。次に、ステップＳ２０２において、読み込んだ被検物の三次元形状データから被検物設置位置範囲を算出する。そして、ステップＳ２０３において、算出した被検物設置範囲から被検物設置位置以外のエリアを算出し、ステップＳ２０４で算出したエリアを警告表示エリア情報（警告表示範囲情報）として記憶部１２に記憶する。
【００２４】
なお本実施形態では、警告画像表示エリア算出時に使用する三次元形状データは、ステップＳ１で取得した三次元形状データを使用している。しかしながら、例えば、被検物の設置位置が固定具などで概略決まっている場合は、事前に設置位置情報をＰＣ３から記憶部１２に記憶し、この設置位置情報を元に警告画像表示エリアを算出してもよい。また三次元形状データの代わりに、被検物の設計データ等（設計情報）をＰＣ３から記憶部１２に記憶し、この設計データを元に警告画像表示エリアを算出してもよい。
【００２５】
次に、図７を用いて警告画像表示処理について詳細に説明する。本実施形態では、警告表示エリア情報とあらかじめ登録された警告画像から、被検物Ｗの設置位置以外の範囲に警告画像を投影する。まず、ステップＳ３０１において、光源の光量を通常の測定時よりも十分低く設定する。警告画像表示では、測定動作は実施しないため、高光量での動作は必要としない。具体的には、作業者が視認できる程度の光量でよく、作業者が直視しても眼に損傷を与えない光量である事が望ましい。
【００２６】
次に、ステップＳ３０２において、記憶部１２から警告画像用のパターン画像を読み込む。そして、ステップＳ３０３において、記憶部１２から警告表示エリア情報を読み込む。制御部１４は、警告画像用のパターン画像と警告表示エリア情報から、投影する警告画像を生成し、像形成部７に送信する。次に、ステップＳ３０４において、読み込んだ警告画像を元に、像形成部７で所望の警告画像を形成する。
【００２７】
そして、ステップＳ３０５において、光源８が発した光が像形成部７を透過することで、投影光学系９により被検物の設置位置以外の範囲に警告画像を結像する。次に、ステップＳ３０６で、警告画像を所定時間投影したか否かを判定する。所定時間投影した場合（ステップＳ３０６）（Ｙｅｓ）、所定時間経過後に投影を終了する。一方、所定時間投影していない場合（ステップＳ３０６）（Ｎｏ）、所定時間が経過するまで投影を行う。
【００２８】
次に、図８を用いて通常測定処理について詳細に説明する。まずステップＳ４０１において、光源８の光量を設定する。本測定では、被検物の形状を高精度に測定する事が求められるため、光量は精度を優先し高く設定される。次に、ステップＳ４０２において、記憶部１２から測定用のパターン画像を読み込み、像形成部７に送信する。そして、ステップＳ４０３において、読み込んだパターン画像を元に像形成部７で所望のパターン像を形成する。
【００２９】
次に、ステップＳ４０４において、光源８が発した光が像形成部７を透過する事で、パターン像となり、投影光学系９により被検物Ｗに結像する。次に、ステップＳ４０５において、撮像手段５が制御手段６からの指令によって、被検物Ｗに投影されたパターン像を撮像する。次に、ステップＳ４０６において、所定枚数のパターン画像を投影・撮像を実施し、画像取得が終了したか否かを判定する。
【００３０】
画像取得が終了している場合（ステップＳ４０６）（Ｙｅｓ）、処理をステップＳ４０７に進める。一方、画像取得が終了していない場合（ステップＳ４０６）（Ｎｏ）、処理はステップＳ４０２に戻る。次に、ステップＳ４０７において、交点算出部１５が、撮像した複数の画像から交点算出を実施する。そして、ステップＳ４０８において、三次元形状データ算出部１６が、交点算出したデータから三次元形状データを算出し、ステップＳ４０９において、算出した三次元形状データを記憶部１２に記憶する。
【００３１】
次に、図９を用いて警告表示について説明する。図９は本実施形態に係る警告表示の一例を示す。図９（ａ）は、被検物の設置位置以外を点滅動作させる例を示している。なお、測定開始が近づくにつれて、点滅周期（点滅光の点滅周期）を早くしてもよい。次に、図９（ｂ）は、被検物の設置位置以外にストライプパターンをスクロール表示する例を示している。なお、スクロールする画像は、ストライプパターン以外でもよい。次に、図９（ｃ）は被検物の設置位置以外の四隅に警告を意味する画像を表示する例を示している。
【００３２】
なお、警告を意味する画像は、文字等による警告メッセージ（警告文）、あるいは測定開始までのカウントダウンを表す数字や文字、あるいはインジケータ表示などである。次に、図９（ｄ）は、パターン光投影範囲外に警告を意味する画像表示する例を示している。以上、警告動作時の表示例を示したが、本実施形態は測定開始前に被検物以外の範囲に対して、何らかの警告を意味する表示を実施すればよく、これら表示例に限定するものではない。
【００３３】
このように、本実施形態によれば、警告メッセージを表示しようとする領域に平面でない面が含まれる場合でも、表示されたメッセージを認識し易い計測方法を提供することができる。
【００３４】
（第２実施形態）
第１実施形態では単一の被検物の形状測定を想定したが、本施形態では複数の被検物がランダムに山積みされ、その山積みの形態が刻々と変化していく事例について説明する。具体的には、ランダムに山積みされた部品群から、多関節の部品把持ロボット等で、次々と部品を把持し、山積みされた部品群の形状が変化する場合を想定する。
【００３５】
まず、図１０は、３つの被検物が山積みされた状態を示している。このうち一つの被検物を不図示の部品把持ロボット等で取り去った場合、山積みの形状が変化する。本実施形態では、このような状態でも対応可能な警告画像表示を提供する。
【００３６】
次に、図１１は、本実施形態に係る三次元形状測定装置１の基本的な処理のフローチャートである。第１実施形態との差異は、ステップＳ５において、警告表示エリア情報の更新要否処理を実施している点と、ステップＳ６において、測定動作を繰り返すか否かを判断する処理が追加されている点である。
【００３７】
なお、ステップＳ１からステップＳ４は、第１実施形態の処理と同様であるため、説明を省略する。まず、ステップＳ５において、記憶部１２に保存されている警告表示エリア情報と今回取得した三次元形状データから新たに算出した警告表示エリア情報を比較し、必要に応じて書き換えを実施する。次に、ステップＳ６において、被検物が残っているかを判断する。残っている場合（ステップＳ６）（Ｎｏ）、通常測定を実施する。一方、被検物が残っていない場合（ステップＳ６）（Ｙｅｓ）、処理を終了する。
【００３８】
次に、図１２を用いて警告画像表示エリア更新処理について詳細に説明する。なお、ここでは第１実施形態との差異についてのみ説明する。まず、ステップＳ５０４において、記憶部１２から、現在の警告表示エリア情報を読み込む。そして、ステップＳ５０５において、今回算出した警告表示エリア情報と、現在の警告表示エリア情報を比較し、警告表示エリア情報の更新を行うか否かを判定する。
【００３９】
そして、現在の警告表示エリア情報よりも、今回算出した警告表示エリア情報が大きくなり、更新を実施する場合（ステップＳ５０５）（Ｙｅｓ）、現在の警告表示エリアを今回算出した警告表示エリア情報で更新する。また、現在の警告表示エリア情報よりも、今回の警告表示エリア情報が予め設定された値よりも大きくなった場合に更新してもよい。一方、更新を実施しない場合（ステップＳ５０５）（Ｎｏ）、処理を終了する。
【００４０】
このように、本実施形態によれば、被検物の形態が刻々と変化していく場合でも、第１実施形態と同様の効果を奏することができる。
【００４１】
なお、以上の実施形態では、パターン光の投影範囲内で被検物の設置位置以外の範囲に告知を表示する例について説明したが、被検物を設置する被検面をずらすように駆動することで、被検物の設置位置以外の範囲に告知を表示してもよい。また、測定ヘッド２をずらす、または角度を変更するように駆動することで、被検物の設置位置以外の範囲に告知を表示してもよい。
【００４２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４３】
１      三次元形状測定装置
４      投影手段
５      撮像手段
６      制御手段
１４    制御部
１６    三次元形状算出部
Ｗ      被検物
【図１】
2016206046.tif 000003
【図２】
2016206046.tif 000004
【図３】
2016206046.tif 000005
【図４】
2016206046.tif 000006
【図５】
2016206046.tif 000007
【図６】
2016206046.tif 000008
【図７】
2016206046.tif 000009
【図８】
2016206046.tif 000010
【図９】
2016206046.tif 000011
【図１０】
2016206046.tif 000012
【図１１】
2016206046.tif 000013
【図１２】
2016206046.tif 000014