(57)【要約】【課題】計測対象の３次元寸法を高い精度で、かつ低コストで計測する３次元寸法計測装置及び３次元寸法計測プログラムを提供する。【解決手段】３次元寸法計測装置１は、計測対象を撮像して画像信号を生成するＴＶカメラ１４と、前記計測対象にスリット光を投射するスリット光源１２と、コンピュータ１０とを備える。コンピュータ１０は、前記ＴＶカメラ１４により生成された画像信号に基づいて、前記計測対象のエッジを抽出するエッジ抽出部と、スリットの中心位置を表すスリット中心線を抽出するスリット中心線抽出部と、前記エッジと前記スリット中心線とに基づいてスリットの特徴点を抽出するスリット特徴点抽出部と、前記特徴点の座標に基づいて、前記特徴点の３次元座標を算出する３次元座標演算部と、前記特徴点の３次元座標に基づいて前記計測対象の特徴量を算出する特徴量演算部とを備える。【選択図】図２
2008196892.tif 000002
【特許請求の範囲】
【請求項１】
計測対象を撮像して画像信号を生成する撮像手段と、
前記計測対象に少なくとも１本のスリット状の光を投射するスリット光投射手段と、
前記撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出するエッジ抽出手段と、
前記スリット光投射手段が投射しているときに前記撮像手段により生成された画像信号に基づいて、スリットの中心位置を表すスリット中心線を抽出するスリット中心線抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジと前記スリット中心線抽出手段によって抽出された前記スリット中心線とに基づいてスリットの特徴点を抽出するスリット特徴点抽出手段と、
前記スリット特徴点抽出手段によって抽出された前記特徴点の座標に基づいて、前記特徴点の３次元座標を算出する３次元座標演算手段と、
前記３次元座標演算手段によって算出された３次元座標に基づいて前記計測対象の特徴量を算出する特徴量演算手段と、
を備えた３次元寸法計測装置。
【請求項２】
前記計測対象を照明する照明手段を更に備え、
前記エッジ抽出手段は、前記照明手段が照明しているときに前記撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出する、請求項１記載の３次元寸法計測装置。
【請求項３】
前記スリット抽出手段は、スリット反射像の長手方向に交差する方向に隣接する複数の画素の位置情報を用いて前記スリット中心線を抽出する、請求項１又は請求項２記載の３次元寸法計測装置。
【請求項４】
前記照明手段による前記計測対象の照明と前記スリット光投射手段による前記計測対象への光の投射とを順次又は同時に行うように制御する計測制御手段を更に備えた請求項１から請求項３の何れか１項記載の３次元寸法計測装置。
【請求項５】
前記３次元座標演算手段は、撮像系座標と３次元座標との対応を示す座標変換テーブルに基づいて前記特徴点の３次元座標を算出する請求項１から請求項４の何れか１項記載の３次元寸法計測装置。
【請求項６】
前記３次元座標演算手段は、撮像系座標を３次元座標に変換する座標変換演算式に基づいて前記特徴点の３次元座標を算出する請求項１から請求項４の何れか１項記載の３次元寸法計測装置。
【請求項７】
コンピュータを、
撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出するエッジ抽出手段、
スリット光投射手段が投射しているときに前記撮像手段により生成された画像信号に基づいて、スリットの中心位置を表すスリット中心線を抽出するスリット中心線抽出手段、
前記エッジ抽出手段によって抽出された前記エッジと前記スリット中心線抽出手段によって抽出された前記スリット中心線とに基づいてスリットの特徴点を抽出するスリット特徴点抽出手段、
前記スリット特徴点抽出手段によって抽出された前記特徴点の座標に基づいて、前記特徴点の３次元座標を算出する３次元座標演算手段、
前記３次元座標演算手段によって算出された３次元座標に基づいて前記計測対象の特徴量を算出する特徴量演算手段、
として機能させるための３次元寸法計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象のスリット光画像及び輝度画像に基づいて計測対象の３次元寸法を計測する３次元寸法計測装置及び３次元寸法計測プログラムに関する。
【背景技術】
【０００２】
従来、光切断法によって計測対象の特徴点を抽出する３次元寸法計測においては、スリット光を投射して得られたスリット光画像を用いて特徴点が抽出されていた。
【０００３】
このような技術としては、例えば、突合せ溶接部の溶接ビード部の３次元形状を計測して溶接状態の検査を行う溶接状態検査方法及び検査装置（特許文献１参照）が知られている。この溶接状態検査方法及び検査装置は、溶接ビード部にスリット光源からスリット光を投射して、その反射光像をＴＶカメラで撮像する光切断法により検査対象の溶接ビードの３次元形状を計測する。
【０００４】
従って、特許文献１の溶接状態検査方法及び検査装置は、検査対象となる溶接ビード部をスリット光画像から抽出する必要がある。スリット光画像は、溶接面の表面に投射されたスリット光を斜め方向から眺めた画像であり、画像としては濃淡の情報を持たない線画像となる。即ち、線の屈曲が溶接面の凹凸を示している。
【特許文献１】特開２００５−２７９６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、この線画像のみからビード部の境目を正確に見つけ出すことは難しい。特に、突合せの板部分からなだらかに溶接されている場合には、板部とビード部の境を正確に検出することは困難であるという問題点がある。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、計測対象の３次元寸法を高い精度で、かつ低コストで計測する３次元寸法計測装置及び３次元寸法計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の３次元寸法計測装置は、計測対象を撮像して画像信号を生成する撮像手段と、前記計測対象に少なくとも１本のスリット状の光を投射するスリット光投射手段と、前記撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出するエッジ抽出手段と、前記スリット光投射手段が投射しているときに前記撮像手段により生成された画像信号に基づいて、スリットの中心位置を表すスリット中心線を抽出するスリット中心線抽出手段と、前記エッジ抽出手段によって抽出された前記エッジと前記スリット中心線抽出手段によって抽出された前記スリット中心線とに基づいてスリットの特徴点を抽出するスリット特徴点抽出手段と、前記スリット特徴点抽出手段によって抽出された前記特徴点の座標に基づいて、前記特徴点の３次元座標を算出する３次元座標演算手段と、前記３次元座標演算手段によって算出された３次元座標に基づいて前記計測対象の特徴量を算出する特徴量演算手段と、を備えている。
【０００８】
請求項２記載の３次元寸法計測装置は、請求項１記載の３次元寸法計測装置において、前記計測対象を照明する照明手段を更に備え、前記エッジ抽出手段は、前記照明手段が照明しているときに前記撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出する。
【０００９】
請求項１又は請求項２記載の発明によれば、スリット光による線画像及び２次元画像に基づいて特徴点を抽出するため、正確に計測対象の３次元寸法を計測することができる。
【００１０】
請求項３記載の３次元寸法計測装置は、請求項１又は請求項２記載の３次元寸法計測装置において、前記スリット抽出手段は、スリット反射像の長手方向に交差する方向に隣接する複数の画素の位置情報を用いて前記スリット中心線を抽出する。
【００１１】
請求項３記載の発明によれば、スリットの中心位置を表わすスリットの中心線を、より正確に抽出することができる。
【００１２】
請求項４記載の３次元寸法計測装置は、請求項１又は請求項３記載の３次元寸法計測装置において、前記照明手段による前記計測対象の照明と前記スリット光投射手段による前記計測対象への光の投射とを順次又は同時に行うように制御する計測制御手段を更に備えている。
【００１３】
請求項４記載の発明によれば、照明とスリット光投射を順次行うか又は同時に行うか制御することができる。
【００１４】
請求項５記載の３次元寸法計測装置は、請求項１から請求項４の何れか１項記載の３次元寸法計測装置において、前記３次元座標演算手段は、撮像系座標と３次元座標との対応を示す座標変換テーブルに基づいて前記特徴点の３次元座標を算出する。
【００１５】
請求項５記載の発明によれば、特徴点の撮像系座標から３次元座標への変換を座標変換テーブルに基づいて算出することができる。
【００１６】
請求項６記載の３次元寸法計測装置は、請求項１から請求項４の何れか１項記載の３次元寸法計測装置において、前記３次元座標演算手段は、撮像系座標を３次元座標に変換する座標変換演算式に基づいて前記特徴点の３次元座標を算出する。
【００１７】
請求項６記載の発明によれば、特徴点の撮像系座標から３次元座標への変換を座標変換演算式に基づいて算出することができる。
【００１８】
請求項７記載の３次元寸法計測プログラムは、コンピュータを、撮像手段により生成された画像信号に基づいて、前記計測対象のエッジを抽出するエッジ抽出手段、スリット光投射手段が投射しているときに前記撮像手段により生成された画像信号に基づいて、スリットの中心位置を表すスリット中心線を抽出するスリット中心線抽出手段、前記エッジ抽出手段によって抽出された前記エッジと前記スリット中心線抽出手段によって抽出された前記スリット中心線とに基づいてスリットの特徴点を抽出するスリット特徴点抽出手段、前記スリット特徴点抽出手段によって抽出された前記特徴点の座標に基づいて、前記特徴点の３次元座標を算出する３次元座標演算手段、及び前記３次元座標演算手段によって算出された３次元座標に基づいて前記計測対象の特徴量を算出する特徴量演算手段、として機能させる。
【００１９】
請求項７記載の発明によれば、スリット光による線画像及び２次元画像に基づいて特徴点を抽出し、正確に計測対象の３次元寸法を計測するようにコンピュータを機能させることができる。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、計測対象の特徴点を正確に検出でき、計測対象の３次元寸法を高い精度で、かつ低コストで計測できるという効果が得られる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態を説明する。図１には本発明の実施の形態に係る３次元寸法計測装置１の機能ブロック図が示されている。
【００２２】
図１に示すように、３次元寸法計測装置１は、計測対象を照明する光源１１と、計測対象に少なくとも１本のスリット光を投射するスリット光源１２と、光源１１による照明及びスリット光源１２によるスリット光投射を制御する計測制御部１３と、光源１１による光の計測対象による反射光を撮像して反射像を生成し、スリット光源１２によるスリット光の計測対象によるスリット反射光を撮像してスリット反射像を生成するＴＶカメラ１４と、コンピュータ１０を備えている。
【００２３】
上記コンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭを含んで構成される。また、コンピュータ１０は、ＴＶカメラ１４によって生成された反射像及びスリット反射像の画像信号をＡ／Ｄ変換するＡ／Ｄ変換部１５と、Ａ／Ｄ変換部によって得られた画像信号を記憶する画像メモリ１６と、画像メモリ１６に格納された画像信号から計測対象のエッジを抽出するエッジ抽出部１７と、画像メモリ１６に格納された画像信号からスリット反射像の中心であるスリット中心位置を抽出するスリット抽出部１８と、エッジ及びスリット中心位置からスリットの特徴点を抽出するスリット特徴点抽出部１９と、特徴点の座標から３次元座標を算出する３次元座標演算部２０と、特徴点の３次元座標から計測対象の特徴量を算出する特徴量演算部２１とを備えている。
【００２４】
ここで、計測対象の特徴量とは、計測対象の特徴を表わす代表的な数値をいう。例えば、計測対象が丸穴形状の場合は、中心座標、半径及び法線ベクトルなどであり、計測対象が突合せ溶接のビード部の場合は、ビード幅、ビード高さである。
【００２５】
（第１の実施の形態）
図２には、本実施の形態にかかる丸穴の３次元寸法計測装置１による計測が示されている。本実施の形態では、丸穴の特徴点の計測にＴＶカメラ１４とスリット光による三角測量法を採用する。計測対象となる丸穴を含む部材（以下「丸穴部材」という。）３０にスリット光源１２によってスリット状の光を投射して、そのスリット反射光をＴＶカメラ１４で撮像する。
【００２６】
従来は、得られたスリット光画像３１から丸穴の円周に相当する部分が特徴点として抽出されていた。しかし、この方法では線画像のみから特徴点が抽出されており、計測対象の持つ表面形状などの特徴がスリット光画像、即ち、線画像の線の傾き変化に置き換えられている。このため、情報量が減少し、抽出する特徴点の位置にバラツキが生じて特徴点を特定する際の誤差原因となっていた。そこで、スリット光を撮像するのと同じＴＶカメラ１４が計測対象を撮像して２次元画像３２を生成し、その２次元画像から円周部を抽出する。
【００２７】
次に、本実施の形態における３次元寸法計測装置１の作用について、図３に示す丸穴計測に関する画像例及び図４示すフローチャートに沿って説明する。
【００２８】
先ず、ステップ１００では、計測制御部１３からの信号に基づいて、スリット光源１２が計測対象である丸穴部材３０にスリット光を投射し、光源１１が丸穴部材３０を照明する。図３（Ａ）は、丸穴部材３０にスリット光投射及び照明を行っている画像である。
【００２９】
本実施の形態では、計測制御部１３は、スリット光源１２によるスリット光投射と光源による照明を同時に制御するが、順次行うように制御することもできる。同時に行う場合には計測時間を短縮されるがスリット光と背景のＳ／Ｎ比が悪くなり、順次行う場合にはＳ／Ｎ比は良くなるが計測時間が長くなる。光源については図２には示していないが、これは特別の光源を用いて計測対象を照明するのではなく、通常の部屋の照明器具を利用しているためである。
【００３０】
また、本実施の形態の場合、３点以上の特徴点を抽出するため、複数のスリット光を投射する必要がある。図２では、２台のスリット光源１２で２本のスリット光を投射しているが、１台のスリット光源１２の位置を変更してスリット光を複数回投射することも可能である。
【００３１】
ステップ１１０では、ＴＶカメラ１４が、丸穴部材３０を撮像し、スリット光投射によって丸穴部材３０から反射して得られるスリット散乱光と、照明によって丸穴部材３０から反射して得られる散乱光とに基づく画像を生成する。図３（Ｂ）は、丸穴部材にスリット光投射及び照明をした状態を撮像した画像である。
【００３２】
ステップ１２０では、Ａ／Ｄ変換部１５が、ＴＶカメラ１４によって生成された画像をＡ／Ｄ変換する。Ａ／Ｄ変換された画像は、画像メモリ１６に蓄えられる。
【００３３】
ステップ１３０では、スリット抽出部１８がスリットの中心位置を表わすスリット中心線を抽出する。具体的には、スリット抽出部１８は、画像メモリ１６に蓄えられた画像から、ＴＶカメラ１４の座標系でのスリット幅方向の代表位置であるスリット中心座標を抽出する。スリット中心座標の抽出方法としては、スリット長手方向に垂直な方向にある値以上の輝度値を持つ画素についてそれらの輝度重心の位置を求める方法や、単純に中心位置を求める方法がある。
【００３４】
ステップ１４０では、エッジ抽出部１７がエッジ抽出部１７が丸穴の円周部に相当するエッジを抽出する。具体的には、エッジ抽出部１７は、画像処理技術を用いて、画像メモリ１６に蓄えられた画像信号からスリット光を消去した後にエッジを抽出する。スリット光を含んだままでもエッジの抽出は可能だが、より精度よくエッジを抽出するために予めスリット光を消去しておく。図３（Ｃ）は、図３（Ｂ）の画像からスリット光を消去した画像である。また、撮像のステップでスリット光をＯＦＦにした状態で撮像した濃淡画像を用いてもよい。
【００３５】
抽出されたエッジの表現方法としては、ＴＶカメラ１４上の離散的な２次元座標列として表現する方法、ＴＶカメラ１４の座標系を用いて円周部に相当するエッジを中心点と半径を用いた円近似の式で表現する方法、或いは円ではなく楕円近似で表現する方法等がある。
【００３６】
ステップ１５０では、スリット特徴点抽出部１９が、上述のステップで求めたエッジとスリット中心線の交差する点をスリット特徴点３３として抽出する。図３（Ｄ）は、スリット中心線とエッジである丸穴の円周部の交点として特徴点を抽出する画像である。
【００３７】
ステップ１６０では、３次元座標演算部２０が、ＴＶカメラ１４の座標系による特徴点３３の座標を３次元座標に変換する。この座標変換の方法は、予め行ったキャリブレーションにより作成された座標変換テーブルを参照して変換する方法や、キャリブレーションにより作成された座標変換式に座標を代入して算出する方法がある。
【００３８】
変換テーブルによる座標変換は、図５に例示する変換テーブルに基づいて行われる。この変換テーブルは、ＴＶカメラ画素（ｉ，ｊ）に対する３次元座標（Ｘ，Ｚ）に対応をとるものである。ここで、Ｙ座標はセンサの設置位置によって決まる。
【００３９】
３次元座標演算部２０が、図５に示すテーブルを用いて、特徴点の３次元座標を算出する。例えば、ＴＶカメラ座標中の特徴点が（ｉ，ｊ）＝（123.4,234.5）の場合、３次元座標演算部２０が、（ｉ，ｊ）＝（123,234）、（124,234）、（123,235）、（124,235）に対応する（Ｘ，Ｚ）の座標を読み出し、その重心演算を行うことで（123.4,234.5）に対応する（Ｘ，Ｚ）座標を算出する。
【００４０】
また、変換式による座標変換は、次のように行う。予め行ったキャリブレーションにより、上記テーブルのｉ，ｊの行及び列に対応するＸ，Ｚそれぞれの変換式を求める。例えば、ＴＶカメラ座標中の特徴点が（ｉ，ｊ）＝（123.4,234.5）の場合、３次元座標演算部２０が、変換式にｉ＝123,124を代入してそれぞれのＸ，Ｚを求め、ｊ＝234,235を代入してそれぞれのＸ，Ｚを求める。それ以降は、３次元座標演算部２０が、上述の変換テーブルによる場合と同様に、重心演算により（123.4,234.5）に対応する（Ｘ，Ｚ）座標を算出する。
【００４１】
ステップ１７０では、スリット特徴点抽出部１９が、計測対象の形状に応じて必要な数の特徴点の座標を算出したか否かを判断する。形状によっては、更に特徴点の座標の算出が必要となる。本実施の形態の丸穴計測では、丸穴のエッジ部分の異なる３点以上の３次元座標を求めるため、ステップ１００に戻り、上述の処理を少なくとも２回繰り返して行う。
【００４２】
そして最後に、ステップ１８０では、特徴量演算部２１が、特徴点の３次元座標から、丸穴の特徴量として、丸穴の中心の３次元座標と半径及び法線ベクトルを算出する。
【００４３】
以上のように、本実施の形態に係る３次元寸法計測装置１によれば、スリット光画像３１ではなく、情報の多い２次元画像３２の濃淡情報を用いることによって、丸穴の円周のエッジ部分を容易に抽出することができる。そして、３次元寸法計測装置１は、抽出したエッジ部分とスリット中心線との交点を特徴点３３として抽出し、その３次元座標を算出する。このようにして３次元寸法計測装置１は、円周のエッジ部分の少なくとも３点の特徴点３３を精度よく抽出することができ、丸穴の正確な特徴量を算出することが可能となる。
【００４４】
また、この３次元寸法計測装置１によれば、１つのＴＶカメラでスリット光画像と２次元画像を撮像するため構成がシンプルで、画像処理のみで計測対象の特徴量を算出するため、従来の市販センサに比べて低コストであるなどのメリットがある。
【００４５】
（第２の実施の形態）
図６には、第２の実施の形態に係る溶接ビード形状が示されている。本実施の形態では、同図（Ａ）の斜視図に示される溶接ビード５０の形状から溶接の良し悪しを判定するために、ビード形状の特徴量を算出する。ビード形状の代表的な特徴量としては、同図（Ｂ）の断面図に示すように、ビード幅５１及びビード高さ５２がある。これらは３次元的な形状であるので、計測するには光切断法が有効な方法となる。
【００４６】
図７に示す本実施の形態に係る３次元寸法計測装置は、図１に示す機能ブロック図と同様に構成され、図３に示すフローチャートの処理を実行してビード幅５１及びビード高さ５２を計測する。なお、第１の実施の形態と異なるステップについて説明する。
【００４７】
ステップ１００からステップ１２０を経て、ステップ１３０では、スリット抽出部１８が、スリット光画像６１からスリット中心線を抽出する。光切断法では、このスリット中心線からビード特徴点を抽出し、それらの寸法を計測してビード特徴量を算出する。このとき、スリット光画像からビード高さ５２を求めることは比較的容易であるが、ビード幅５１を求めるためには、どこからどこまでがビード部分に相当するかを判別する必要があり、これを線画像であるスリット光画像から正確に求めることは困難である。
【００４８】
ステップ１４０では、エッジ抽出部１７が、ビード突合せ部分の２次元画像６２からビード両端部分を抽出する。２次元画像６２は、濃淡情報など情報量が豊富なので、突き合わせられた平板部と溶接によるビード部とが容易に分離できる。
【００４９】
ステップ１５０では、スリット特徴点抽出部１９が、スリット光源１２によるスリット光画像６１である線画像とビード両端部分との交点をスリット特徴点６３として抽出し、ステップ１６０では、３次元座標演算部２０が、スリット特徴点６３の３次元座標を求める。
【００５０】
そして、ステップ１８０では、特徴量演算部２１が、溶接ビード５０の特徴量であるビード幅５１及びビード高さ５２を算出する。
【００５１】
以上のように、本実施の形態に係る３次元寸法計測装置１によれば、溶接ビード５０のスリット光画像６１ではなく、情報量の多い２次元画像６２の濃淡情報を用いることによって、ビード両端部分を容易に抽出することができる。そして、３次元寸法計測装置１は、抽出したビード両端部分とスリット中心線との交点を特徴点６３として抽出し、その３次元座標を算出する。このようにして３次元寸法計測装置１は、ビード両端部分の特徴点６３を精度よく抽出することができ、溶接ビード５０の正確な特徴量を算出することが可能となる。特に、従来技術では正確に計測することが困難だったビード幅５１も、容易にかつ正確に計測することができるというメリットがある。
【図面の簡単な説明】
【００５２】
【図１】本発明に係る３次元寸法計測装置の機能ブロック図である。
【図２】第１の実施の形態に係る３次元寸法計測装置による丸穴の計測を示す図である。
【図３】第１の実施の形態に係る丸穴計測に関する画像例である。
【図４】本発明に係る３次元寸法計測装置の作用を示すフローチャートである。
【図５】本発明に係る座標変換テーブル例を示す図である。
【図６】第２の実施の形態に係る溶接ビード形状を示す図である。
【図７】第２の実施の形態に係る３次元寸法計測装置による溶接ビードの計測を示す図である。
【符号の説明】
【００５３】
１     ３次元寸法計測装置
１０   コンピュータ
１１   光源
１２   スリット光源
１３   計測制御部
１４   ＴＶカメラ
１５   Ａ／Ｄ変換部
１６   画像メモリ
１７   エッジ抽出部
１８   スリット抽出部
１９   スリット特徴点抽出部
２０   ３次元座標演算部
２１   特徴量演算部
【図１】
2008196892.tif 000003
【図２】
2008196892.tif 000004
【図４】
2008196892.tif 000005
【図５】
2008196892.tif 000006
【図３】
2008196892.tif 000007
【図６】
2008196892.tif 000008
【図７】
2008196892.tif 000009