(57)【要約】  【課題】  突き合わせて接合する押し出し型材や板材など被接合材の表面に汚れや傷などの外乱要因があっても、正確に接合線を検出でき、検出の失敗を大幅に削減できる接合線検出方法を提供する。  【解決手段】  ＣＣＤカメラなどの撮像手段により接合線を上方から撮影して多値画像を取得（ｓｔｅｐ１）し、この多値画像に接合線方向のエッジを強調する微分フィルタをかけた微分画像を作成（ｓｔｅｐ２）したのち、c)前記多値画像から前記微分画像を減算することにより接合線強調画像を作成（ｓｔｅｐ３）し、この接合線強調画像を接合線の方向に濃度投影して濃度投影結果を求（ｓｔｅｐ４）めるとともに、この濃度投影結果の３次以上の近似曲線を最小二乗法により求（ｓｔｅｐ５）め、求めた近似曲線をしきい値として前記濃度投影結果と大小関係を比較することにより接合線を検出（ｓｔｅｐ６）する。【選択図】      図４
2005284725.tif 000002
【特許請求の範囲】
【請求項１】
ＣＣＤカメラなどの撮像手段により接合線を上方から撮影して多値画像を取得し、この多値画像に接合線方向のエッジを強調する微分フィルタをかけた微分画像を作成したのち、前記多値画像から前記微分画像を減算することにより接合線強調画像を作成し、
この接合線強調画像を接合線方向に濃度投影して濃度投影結果を求めるとともに、この濃度投影結果の３次以上の近似曲線を最小二乗法により求め、
求めた近似曲線をしきい値として前記濃度投影結果と大小関係を比較することにより接合線を検出する
ことを特徴とする接合線検出方法。
【請求項２】
前記接合線が、押し出し型材や板材などの被接合材を突き合わせて溶接などにて継手に接合する際の接合線である請求項１記載の接合線検出方法。
【請求項３】
接合線を上方から撮影するＣＣＤカメラなどの撮像手段と、この撮像手段により撮影した多値画像に接合線方向のエッジを強調する微分フィルタを加算して微分画像を作成する微分画像作成手段と、前記多値画像から前記微分画像を減算することにより接合線強調画像を作成する画像間演算手段と、前記接合線強調画像を接合線方向に濃度投影する濃度投影手段と、この濃度投影結果の３次以上の近似曲線を最小二乗法により求める近似曲線作成手段と、近似曲線をしきい値として前記濃度投影結果と大小関係を比較することにより接合線の位置を検出する比較手段とを備えた
ことを特徴とする接合線検出装置。
【請求項４】
押し出し型材や板材などの被接合材を突き合わせて溶接により継手に接合する際に、その継手の接合線に沿って電極や接合工具などを倣わせる倣い制御装置において、
前記接合線の検出に使用する請求項３記載の接合線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、アルミ合金の押し出し型材や板材を突き合わせて溶接などにて継手に接合する際に、その継手の接合線に沿って電極や接合工具などを倣わせる倣い制御装置に主として適用される接合線検出方法とその装置に関するもので、詳しくはＣＣＤカメラなどの工業用カメラにより撮像した画像の処理方法に関する。
【背景技術】
【０００２】
例えばアーク溶接やレーザー溶接や摩擦撹拌溶接にて上記のような型材や板材を突き合わせて自動的に接合する場合には、その接合線の位置を正確に検出する必要がある。こうした接合線の検出は、接合線に照射手段から照射した光りの反射光をＣＣＤカメラなどの撮像手段によって上方で受光して撮影し、その撮影により取得した多値画像に対し２値化や微分などの処理を施すことにより接合線を検出するというのが一般的である。
【０００３】
その他、溶接の際の開先位置を画像処理して検出する方法に関する先行技術に、倣い制御前に撮影した開先と溶接板表面からなる領域の濃淡画像データを教示パターンとして記憶し、倣い制御中の開先近傍の濃淡画像データから教示パターンと同一サイズの領域を順次切り出して入力パターンとし、前記教示パターンと前記入力パターンの画像信号電圧の相関を算出し、相関係数が０．６〜１．０で相関係数の最も大きい領域を開先位置と決定する方法がある（例えば、特許文献１参照）。
【０００４】
また、アークを形成する電極と、あらかじめ設定された動作にて電極を移動させるロボットと、このロボットの先端部に設けられた軌道部と、この軌道部を走行する走行台車と、被溶接部材を撮影するカメラとを含み、電極は走行台車に搭載され、ロボットと走行台車はそれぞれ独立して制御され、前記カメラが撮影した画像に基づいて走行台車が電極の位置を制御する溶接自動倣い制御装置（例えば、特許文献２参照）が提案されている。
【特許文献１】特開平７−２１４３２３号公報（段落番号０００６、図１０〜図１２）
【特許文献２】特開２００３−４８０７０号公報（段落番号０００８、００１０、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の検出方法および上記公報に記載の方法あるいは装置では、次のような点で改良すべき余地がある。すなわち、突き合わせ継手の接合線のように突き合わせ箇所に隙間がほとんど生じない型材間や板材間の接合線を検出する場合、
ａ）撮像画像の２値化処理では、図５（ｂ）の最上段（b-1)に示すように、例えば汚れ箇所ｙが接合線ｓの近傍にあると、接合線ｓと汚れ箇所ｙとがともに黒ずんで表され、接合線を検出できないことがある。また、微分処理だけでは、例えば接合線のエッジが出ないような外乱光があった場合に、画像中の濃淡が変化する箇所だけが強調されて表れるので、例えば汚れ箇所と非汚れ箇所との境部分が接合線と紛らわしく表され、被接合材料上の傷や錆びなどを接合線として誤検出することがある。
【０００６】
ｂ）特許文献１の開先検出方法は、錆びや付着スパッタなどがある場合でも開先位置を検出する点で本発明の対象とする接合線の検出と共通するものであるが、テレビカメラの画像信号電圧を用いて開先位置を検出するものであるので、ＣＣＤカメラなどで撮像した画像を処理して接合線を検出する本発明には適用することができない。
【０００７】
ｃ）特許文献２の溶接自動倣い制御装置は、具体的には、アナログ画像信号をデジタル変換して得られる多値画像データを微分処理し、画像中の暗い部分から明るい部分に変化するエッジ部または明るい部分から暗い部分に変化するエッジ部で、極大点または極小点を抽出し、抽出された極大点データおよび極小点データから、境界位置を検出し、さらに、その境界位置検出データから、電極の先端の位置、開先の位置、電極の先端の位置に対する開先の位置のズレ量を検出するものであり、結局は微分による画像処理を用いて電極や開先の位置などを検出することになるので、汚れや傷等がある場合には接合線を正確に検出できない。
【０００８】
本発明は上述の点に鑑みなされたもので、接合線の上方から撮像手段にて撮像した画像を処理することで接合線を検出する方法と同検出装置において、突き合わせて接合する押し出し型材や板材など被接合材の表面に汚れや傷などの外乱要因があっても、正確に接合線を検出でき、検出の失敗を大幅に削減できる接合線の検出方法と同検出装置を提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明（請求項１）にかかる接合線検出方法は、a)ＣＣＤカメラなどの撮像手段により接合線を上方から撮影して多値画像を取得し、b)この多値画像に接合線方向のエッジを強調する微分フィルタをかけた微分画像を作成したのち、c)前記多値画像から前記微分画像を減算することにより接合線強調画像を作成し、d)この接合線強調画像を接合線の方向に濃度投影して濃度投影結果を求めるとともに、この濃度投影結果の３次以上の近似曲線を最小二乗法により求め、e)求めた近似曲線をしきい値として前記濃度投影結果と大小関係を比較することにより接合線を検出することを特徴としている。
【００１０】
上記の目的を達成するために本発明（請求項３）にかかる接合線検出装置は、A)接合線を上方から撮影するＣＣＤカメラなどの撮像手段と、B)この撮像手段により撮影した多値画像に接合線方向のエッジを強調する微分フィルタを加算して微分画像を作成する微分画像作成手段と、C)前記多値画像から前記微分画像を減算することにより接合線強調画像を作成する画像間演算手段と、D)前記接合線強調画像を接合線の方向に濃度投影する濃度投影手段と、E)この濃度投影結果の３次以上の近似曲線を最小二乗法により求める近似曲線作成手段と、F)近似曲線をしきい値として前記濃度投影結果と大小関係を比較することにより接合線の位置を検出する比較手段とを備えたことを特徴としている。
【００１１】
上記の構成を有する請求項１記載の接合線検出方法および請求項３記載の接合線検出装置によれば、撮像手段により上方から撮影した被接合材の接合線を含む接合線近傍の多値画像において微分フィルタを適用して微分画像（接合線方向のエッジが明るい濃度となって白く表れる）を作成することにより接合線方向（縦方向）のエッジを強調したうえで、その微分画像を多値画像から減算することにより接合線をさらに強調した（接合線が黒く強調された）画像を得ることから、接合線を濃度が極小のピーク（極小点）として捉えることができ、外乱光に対しても接合線を安定して検出できる。そして、接合線を強調した画像を縦方向、つまり接合線方向に濃度投影（縦方向に積分して接合線方向の明るさの値（濃度）を合算）した結果を求めることにより、汚れや傷などの外乱要因は接合線に比べて明るさが大きな値になって表れる。そして、その濃度投影結果から最小二乗法により３次以上の（通常は３次または４次、次数がそれ以上増えても曲線の形状にほとんど変化が見られないからである）近似曲線を求め、この近似曲線に対し濃度投影結果が大きいか小さいかを比較することによって、近似曲線よりも値の小さい濃度投影結果のピーク部分（極小値）を接合線（の位置）として検出することができる。
【００１２】
ところで、上記の説明を繰り返すことになるが、多値画像に微分フィルタをかける、つ
まり接合線方向に微分処理することにより、濃度（明暗）変化のある箇所だけが抽出されるので、接合線方向のエッジが強調される。この微分処理した画像により汚れ箇所は接合線と区別して認識されるが、汚れ箇所以外の外乱に対しては接合線との区別が十分とは言えない。そこで、多値画像から微分画像を減算することで、エッジの部分の濃淡差がさらに強調され、エッジとして不明瞭な部分についても黒く強調されエッジ部分が明確に表ｓれた合成画像になる。微分処理では濃度の変化の差をとるので、濃度の差が急には変化しない箇所では、微分値として低い数値しか得られず、抽出されにくい。このため、汚れ以外の外乱要因、例えば被接合材表面の接合線方向の傷とは、接合線が区別されにくいことがあるので、微分処理だけでは不十分である。このため、多値画像から微分画像を減算して合成画像を作成したのである。つまり、合成画像を作成した場合には、濃度差の変化が小さくても、多値画像上の濃度差に基づいて接合線方向のエッジ部分が強調されるので、接合線が汚れ部や傷を含む外乱部分と明確に区分して表される。ただし、合成画像を作成しただけでは、画像（絵）上において接合線を認識できるが、接合線の位置を数値的に特定することはできない。
【００１３】
そこで、さらに接合線をその位置との関係を含めて数値として特定するために、濃度投影（積分）が必要になり、濃度投影を行ったのである。本発明では、合成画像に接線方向の濃度投影を行うことで、つまり縦方向に０〜２５５の階調をもった濃淡画像の明るさを縦方向に沿った一列分について各画素ごとに加算していくことを繰り返し、幅方向の左端から右端にかけて各列を加算する。このようにして求めた各列の明るさの合算値である濃度（画面の明るさの度合い）とその位置との関係を、濃度を縦軸とし位置を横軸とした座標上に表したのが、図５(a-4）に示す屈曲した線図ｘである。この線図ｘが濃度投影結果を示しているが、仮に上記の微分画像の減算処理を行なわなかったとすれば、図５(a-4）の線図ｘには極小側のピーク部は表れていない。また、この線図ｘによれば２つのピーク部があるが、そのピーク部の一方が汚れ部ｙで、他方が接合線ｓである。しかし、その線図ｘだけで接合線ｓを検出するのは、決して容易とは言えない。
【００１４】
そこで、本発明では、さらに接合線以外のピーク部を線図ｘから除去するために、近似曲線を求めたのである。線図ｘとして表されている濃度投影結果値を３次または４次の最小二乗法で近似させることで、近似曲線が求められる。この近似曲線は濃度投影値（積分値）の平均値に近い曲線を表すものであり、接合線は平均値より大きく表れ、汚れ部などの外乱は平均値より小さく表れるから、濃度投影結果を表す線図ｘと同じ座標上において近似曲線ｚを表示し、線図ｘの近似曲線ｚとの交点をしきい値として近似曲線ｚにより線図ｘを区分すれば、近似曲線ｘより濃度が小さい側のピーク部を接合線として簡単に検出できることになる。
【００１５】
上記請求項１記載の接合線検出方法において、前記接合線は、請求項２に記載のように押し出し型材や板材などの被接合材を突き合わせて溶接などにて継手に接合する際の接合線である。
【００１６】
請求項４に記載のように、押し出し型材や板材などの被接合材を突き合わせて溶接により継手に接合する際に、その継手の接合線に沿って電極や接合工具などを倣わせる倣い制御装置において、上記請求項３記載の接合線検出装置を前記接合線の検出に使用することができる。
【発明の効果】
【００１７】
本発明の接合線検出方法および接合線検出装置は、それぞれ上記の構成からなるので、次のような優れた効果を奏する。
【００１８】
本発明によれば、ＣＣＤカメラなどの工業用カメラにより接合線を上方より撮影して取
得した多値画像に微分フィルタをかけて接合線方向のエッジを強調し、この微分画像を多値画像から減算するので、接合線がさらに黒くなって強調された画像となり、接合線を濃度が極小側のピーク部として捉えられるから、被接合材表面の汚れや傷だけでなく外乱光に対しても接合線を安定して検出できる。そして、その接合線強調画像をさらに接合線方向に濃度投影つまり積分して接合線方向に沿った明るさの濃度値の合算値を求めることで、汚れや傷などの外乱要因が接合線に比べて明るさの濃度値がより大きな値になって表れ、さらにその濃度投影結果から最小二乗法により３次以上の近似曲線を求め、正確には近似曲線からパラメータに相当する定数を引いたしきい値曲線に対し濃度投影結果が大きいか小さいかを比較することで、そのしきい値曲線よりも濃度値の小さいピーク部分（極小値）を接合線（の位置）として検出できる。したがって、被接合材の表面に汚れや傷などがあったり、外乱光が生じたりしても接合線の位置を的確に検出することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明にかかる接合線検出装置について実施の形態を図面に基づいて説明し、併せて接合線検出方法についても説明する。
【００２０】
図１は接合線検出装置の基本構成を示す概略図で、図２・図３は接合線検出装置を摩擦撹拌接合装置に適用した実施例を示す側面図と正面図である。図４は接合線の検出手順を示すフローチャート、図５（ａ）は被接合材の接合線付近に汚れがない場合の接合線検出態様について図４のフローチャートによる手順に対応した処理画像を示す説明図、図５（ｂ）は被接合材に汚れがある場合の同処理画像を示す説明図、図５（ｃ）は従来の２値化処理したの濃度投影処理画像を示す説明図である。
【００２１】
図１に示すように、接合線検出装置１は２枚の板状被接合材ｗ・ｗを長手方向に沿って突き合わせた接合線ｓを検出するもので、接合線ｓの上方に配置される工業用カメラ、本例ではＣＣＤカメラ２と、このＣＣＤカメラ２を挟んで両側に配置され、接合線ｓを両側の斜めやや上方から同時に照射光を発す一対の照明具３と、ＣＣＤカメラ２により取得した画像を処理する画像処理装置４とから構成されている。左右の照明具３からの照射光は、できるだけ接合線ｓが影になるように側方から斜め方向に当てるのが望ましい。
【００２２】
この接合線検出装置１は、本例では図２・図３に示すように、摩擦撹拌接合装置５の前面に昇降自在に配設された接合ヘッド６の下端に防振ゴム７ａを介してブラケット７を取り付け、このブラケット７の下端の中央にＣＣＤカメラ２を下向けに取り付け、ＣＣＤカメラ２を挟んで両側に照明具３・３を取り付けている。なお、図中の符号８は接合工具で、その前方に板状被接合材ｗの押えローラ９を転動自在に吊設している。
【００２３】
上記のように構成される接合線検出装置１は、摩擦撹拌接合装置５の倣い制御装置として機能させるもので、接合工具８の前方で被接合材ｗ・ｗ間の突き合わせ接合線ｓを検出し、検出した接合線ｓに接合工具８が倣うように制御する。接合工具８の制御については詳しい説明を省略するが、接合線ｓが例えばうねっていて幅方向の一方に偏っている場合には、接合工具８を偏りに応じて傾動させたり移動させたりして接合線ｓからズレないように制御させる。
【００２４】
次に上記接合線検出装置１による接合線の検出手順を、図１、図４および図５に基づいて説明する。
【００２５】
◎  図４において、接合線ｓの上方を接合線方向に沿って前方へ移動するＣＣＤカメラ２により、ＣＣＤカメラ２と一体的に移動する両側の照明具３からの光線が接合線ｓに対しやや傾斜して照射され、その反射光がＣＣＤカメラ２により捉えられて被接合材ｗ・ｗ間の接合線ｓを含む近辺が撮影され、その多値画像が入力画像として取得される（ｓｔｅ
ｐ１）。入力画像（多値画像）では、図５（b-1）のように汚れが接合線に近接している場合は、汚れ部分ｙと接合線ｓとがそれぞれ黒ずんで表され、接合線ｓを認識しにくい。一方、図５（a-1）のように、被接合材ｗの表面に汚れ部分ｙがあっても、接合線ｓから離れている場合には、汚れ部分ｙと接合線ｓとをそれぞれ区別して認識できる。
【００２６】
◎  続いて多値画像に対して、接合線方向のエッジである縦エッジを強調する微分フィルタがかけられ、微分画像が作成される（ｓｔｅｐ２）。この微分画像では画像の明るさと暗さが変化する境界位置だけが縦方向に強調されて表されるため、汚れ部分ｙが接合線ｓに近接している場合でも、図５（b-2）のように、接合線ｓと汚れ部分ｙとが明確に区別され、接合線ｓを認識できる。
【００２７】
◎  ｓｔｅｐ１の多値画像からｓｔｅｐ２の微分画像を画像間演算手段により減算することにより、接合線ｓを一層黒くして強調した合成画像を作成する（ｓｔｅｐ３）。この合成画像では、図５（a-3）・図５（b-3）に示すように、汚れ部分ｙに比べて接合線ｓがさらに黒く強調されており、接合線ｓの位置を明確に認識できる。
【００２８】
◎  ｓｔｅｐ３の合成画像について、接合線方向に濃度投影する、いいかえれば接合線方向である縦方向に積分する（ｓｔｅｐ４）。つまり、縦方向に全ての濃度値を合算することにより、縦軸の濃度投影値と横軸の被接合材上の位置との関係から、図５（a-4）・図５（b-4）に示すような濃度投影（積分）線図ｘがそれぞれ得られる。
【００２９】
◎  ｓｔｅｐ４の濃度投影結果から、その３次近似曲線を最小二乗法により算出する（ｓｔｅｐ５）。図５（a-4）に示すように、汚れ部分ｙは濃度投影線図ｘ上で小さなピーク部（屈曲点）として表れるので、近似曲線ｚに影響を与えない。なお、近似曲線ｚは次数が４次以上は増えても曲線の形状にほとんど変化が見られないので、計算が複雑になるだけでメリットがないから、３次または４次の近似曲線を求めれば十分である。
【００３０】
◎  濃度投影結果（線図）ｘと近似曲線ｚとの大小関係を比較手段により比較し、濃度投影結果ｘが近似曲線ｚよりも小さいピーク部分（極小点）ｐを、接合線ｓとして検出する（ｓｔｅｐ６）。本例によれば、図５（a-4）・図５（b-4）に示すように、それぞれピーク部分ｐが接合線ｓとして検出される。ただし、汚れ部分ｙが接合線ｓと接近している場合（図５（b-1））に、多値画像に微分フィルタをかけて微分画像を合成しなかったとすれば、図５（b-4）においてピーク部分（極小点）ｐは表れなかったので、検出不能になるか、接合線以外の汚れ部分を検出したかであろうと推測される。なお、ｓｔｅｐ１の多値画像を２値化だけで処理した場合には、図５（c-4）に示すように、濃度投影結果ｘに接合線ｓがピーク部分として表れないので、検出できない。また、しきい値を２値化で行う場合には、２値化した線が一点鎖線のようになり、汚れや錆などがあるときには検出できない。
【００３１】
以上に本発明の接合線検出装置と方法についての実施例を示したが、本発明は上記以外にも、例えば下記のように実施できる。
【００３２】
摩擦撹拌接合装置のほか、アーク溶接やＴＩＧ溶接などの自動溶接機において倣い制御装置として適用できる。
【００３３】
また、撮像手段としては、ＣＣＤカメラ２以外にも、ＣＭＯＳカメラ、ＴＶカメラ、ＩＴＶなどの、いわゆる工業用カメラを使用できる。
【００３４】
さらに、図６に示すように溶接用や機械加工用の多関節ロボットに搭載して使用することもできる。すなわち、多関節ロボット１１のアーム１２の先端に、撮像手段としてのカ
メラヘッド２と加工ヘッド１０とを搭載し、画像処理装置４によりワークｗの接合線などをアームを移動しながら撮影した入力画像を上記の各ｓｔｅｐに基づいて処理して検出することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の接合線検出装置の基本構成を示す概略図である。
【図２】本発明の接合線検出装置を摩擦撹拌接合装置に適用した実施例を示す側面図である。
【図３】図３の実施例を示す正面図である。
【図４】本発明の接合線検出方法による接合線の検出手順を示すフローチャートである。
【図５】図５（ａ）は被接合材の接合線付近に汚れがない場合の接合線検出態様について図３のフローチャートによる手順に対応した処理画像を示す説明図、図５（ｂ）は被接合材に汚れがある場合の同処理画像を示す説明図、図５（ｃ）は従来の２値化処理したの濃度投影処理画像を示す説明図である。
【図６】本発明の接合線検出装置を多関節ロボットに適用した実施例を示す斜視図である。
【符号の説明】
【００３６】
１  接合線検出装置
２  ＣＣＤカメラ（撮像手段）
３  照明具
４  画像処理装置
５  摩擦撹拌接合装置
６  接合ヘッド
７  ブラケット
７ａ防振ゴム
８  接合工具
９  押えローラ
ｗ  被接合材
ｓ  接合線
【図１】
2005284725.tif 000003
【図２】
2005284725.tif 000004
【図３】
2005284725.tif 000005
【図４】
2005284725.tif 000006
【図５】
2005284725.tif 000007
【図６】
2005284725.tif 000008