(57)【要約】【課題】溶接時に溶融池近辺の溶接状況を高い解像度で可視化できる溶接部可視化装置と、この映像を用いて溶接状況をリアルタイムで解析しその解析結果に応じて溶接を制御する溶接制御装置及び方法を提供する。【解決手段】溶接部可視化装置１０は、電子シャッターを備えた高画素ＣＣＤカメラ２と高輝度フラッシュランプ４とを備え、フラッシュランプによる溶接部の照明とＣＣＤカメラによる撮影を同期させる。溶接制御装置２０は、溶接部可視化装置１０が出力する画像データを取り込む画像取込み装置１２と、画像データを画像処理して溶接状況を判定する画像処理装置１４と、溶接状況を出力する出力装置１６とを備える。【選択図】　　　図１
2004074264.tif 000002
【特許請求の範囲】
【請求項１】
電子シャッターを備えた高画素ＣＣＤカメラ（２）と高輝度フラッシュランプ（４）とを備え、高輝度フラッシュランプによる溶接部の照明と高画素ＣＣＤカメラによる撮影を同期させたことを特徴とする溶接部可視化装置。
【請求項２】
前記ＣＣＤカメラ（２）は、１フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δｔを超える間隔で画像を連続的に撮影し画像データを出力する、ことを特徴とする請求項１に記載の溶接部可視化装置。
【請求項３】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をＣＣＤカメラ（２）に導く光学系（６）を備える、ことを特徴とする請求項１に記載の溶接部可視化装置。
【請求項４】
溶接部可視化装置（１０）が出力する画像データを取り込む画像取込み装置（１２）と、該画像データを画像処理して溶接状況を判定する画像処理装置（１４）と、該溶接状況を出力する出力装置（１６）とを備えた、ことを特徴とする溶接制御装置。
【請求項５】
画像処理用のＰＣと、画像データの取り込み用のフレームグラバーボードとを備える、ことを特徴とする請求項４に記載の溶接制御装置。
【請求項６】
複数のメモリテーブルを備え、各メモリテーブルに１フレーム分の画像を順次転送し、全体としてリアルタイムに全画像を取込む、ことを特徴とする請求項４に記載の溶接制御装置。
【請求項７】
溶融池、開先、ビードを高解像度の画像データとして撮影し、この画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態のうち少なくとも１つを検出し、その検出内容から溶接状況をリアルタイムで解析する、ことを特徴とする溶接制御方法。
【請求項８】
前記解析結果をリアルタイムで溶接装置にフィードバックし、溶接装置を自動制御する、ことを特徴とする請求項７に記載の溶接制御方法。
【請求項９】
開先倣い、開先幅検知、ブローホール検知および溶接状況異常判定のうち少なくとも１つをリアルタイムで解析する、ことを特徴とする請求項７に記載の溶接制御方法。
【請求項１０】
前記開先倣いにおいて、映像を解析して開先の直線ベクトルと、現在の溶融池位置と、将来の溶融池位置を判定し、溶融池と開先の間で、現在もしくは将来的に位置ずれが発生するかどうかを判定するし、位置ずれが予測された場合、溶接ヘッドを移動させ、溶接の品質を向上させる、ことを特徴とする請求項７に記載の溶接制御方法。
【請求項１１】
前記開先幅検知において、開先幅を検知し、開先が開いてきた場合、溶接ヘッドを片側のエッジに移動させ、溶接失敗を防ぐ、ことを特徴とする請求項７に記載の溶接制御方法。
【請求項１２】
前記ブローホール検知において、ビードの状態を判定しブローが出現する場合、溶接のパワー調整を行う、ことを特徴とする請求項７に記載の溶接制御方法。
【請求項１３】
前記溶接状況異常判定において、正常な溶接状況を把握しておき、常時正常な溶接状況とリアルタイムの溶接状況を比較することで、溶接異常を把握し、異常を通知する、ことを特徴とする請求項７に記載の溶接制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、溶接部可視化装置とこれにより得られる映像を用いて溶接状況をリアルタイムで解析し、その解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させる溶接制御装置及び方法に関する。
【０００２】
【従来の技術】
溶接中に溶接状況を監視する技術として、特開平９−２２５６６６号の「レーザ溶接のモニタリング装置」、特開２０００−１９６９２３の「ＣＣＤカメラとレーザ照明を用いた発光体の撮像装置」、特開２０００−２４６４４１の「溶接状況遠隔監視装置」等が提案されている。
また、自動溶接装置として、特開２０００−２１０７７１の「溶接位置自動倣い制御装置及び被溶接部材の開先部溶接方法」等が提案されている。
【０００３】
【発明が解決しようとする課題】
上述した従来の溶接状況監視技術は、溶接中に溶接部を目視で監視できるものの、その画像情報は少なく、溶接状況を推定するには精度が低く、これを用いての自動化は困難であった。そのため、従来の溶接自動制御装置は、上述した従来の溶接状況監視技術やその他の接触式センサ等を利用するものであるが、精度が低くそのため装置が複雑で汎用性が低い問題点があった。
【０００４】
言い換えれば、従来の溶接状況監視技術や溶接自動制御装置は、本来最も情報量の豊富な溶融池近辺の映像を十分に利用することができず、精度の高い溶接状況解析ができない問題点があった。
【０００５】
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる溶接部可視化装置と、これにより得られる映像を用いて溶接状況をリアルタイムで解析しその解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させる溶接制御装置及び方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明によれば、電子シャッターを備えた高画素ＣＣＤカメラ（２）と高輝度フラッシュランプ（４）とを備え、高輝度フラッシュランプによる溶接部の照明と高画素ＣＣＤカメラによる撮影を同期させたことを特徴とする溶接部可視化装置が提供される。
【０００７】
この構成の溶接部可視化装置により、溶接部をコントラストの高い高解像度の画像として撮影することができ、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【０００８】
本発明の好ましい実施形態によれば、前記ＣＣＤカメラ（２）は、１フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δｔを超える間隔で画像を連続的に撮影し画像データを出力する。
この構成により、溶接部を一定の間隔で漏れなく撮影し画像データを出力することができる。
【０００９】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をＣＣＤカメラ（２）に導く光学系（６）を備える。
この構成により、溶融池を含む溶接部とその周囲を高いコントラストで撮影でき、かつ撮影範囲を被写界深度内に収めることができる。
【００１０】
また、本発明によれば、溶接部可視化装置（１０）が出力する画像データを取り込む画像取込み装置（１２）と、該画像データを画像処理して溶接状況を判定する画像処理装置（１４）と、該溶接状況を出力する出力装置（１６）とを備えた、ことを特徴とする溶接制御装置が提供される。
【００１１】
この構成の溶接制御装置によれば、画像取込み装置（１２）により、溶接部可視化装置（１０）が出力する画像データを取り込み、画像処理装置（１４）により、画像データを画像処理して溶接状況を判定し、出力装置（１６）により、溶接状況を出力する。従って、溶接状況の解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる。
【００１２】
本発明の好ましい実施形態によれば、画像処理用のＰＣと、画像データの取り込み用のフレームグラバーボードとを備える。
この構成により、フレームグラバーボードで画像データを取り込み、ＰＣ（パーソナルコンピュータ）で画像処理ができる。
【００１３】
複数のメモリテーブルを備え、各メモリテーブルに１フレーム分の画像を順次転送し、全体としてリアルタイムに全画像を取込む。
この構成により、単一のメモリテーブルへの転送に時間がかかる場合でも、リアルタイムにすべての画像を取込むことができる。
【００１４】
さらに、本発明によれば、溶融池、開先、ビードを高解像度の画像データとして撮影し、この画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態のうち少なくとも１つを検出し、その検出内容から溶接状況をリアルタイムで解析する、ことを特徴とする溶接制御方法が提供される。
【００１５】
本発明の好ましい実施形態によれば、前記解析結果をリアルタイムで溶接装置にフィードバックし、溶接装置を自動制御する。
また、開先倣い、開先幅検知、ブローホール検知および溶接状況異常判定のうち少なくとも１つをリアルタイムで解析する。
【００１６】
前記開先倣いにおいて、映像を解析して開先の直線ベクトルと、現在の溶融池位置と、将来の溶融池位置を判定し、溶融池と開先の間で、現在もしくは将来的に位置ずれが発生するかどうかを判定するし、位置ずれが予測された場合、溶接ヘッドを移動させ、溶接の品質を向上させる。
【００１７】
前記開先幅検知において、開先幅を検知し、開先が開いてきた場合、溶接ヘッドを片側のエッジに移動させ、溶接失敗を防ぐ。
前記ブローホール検知において、ビードの状態を判定しブローが出現する場合、溶接のパワー調整を行う。
【００１８】
前記溶接状況異常判定において、正常な溶接状況を把握しておき、常時正常な溶接状況とリアルタイムの溶接状況を比較することで、溶接異常を把握し、異常を通知する。
【００１９】
上記本発明の溶接制御方法によれば、溶融池、開先、ビードを含む高解像度の画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態を検出し、溶接状況をリアルタイムで解析するので、その解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる。
【００２０】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
【００２１】
１．本発明の溶接部可視化装置は、従来見ることができなかった溶接の状況を、強力なストロボ光源と高速電子シャッターの制御などにより可視化する装置である。
この溶接部可視化装置で得られる溶接の映像を利用して、画像処理によって溶接状態の特徴を抽出し、その結果にもとづいたフィードバックをかける溶接制御装置について検討する。このような溶接制御装置を実現することで、溶接の自動補正や不良品検出といった付加価値の高い溶接ラインを提案することが可能になる。図１に、本発明の溶接部可視化装置１０とこれを用いた溶接制御装置２０を示す。
【００２２】
２．従来型可視化装置を用いた検討
本発明の溶接部可視化装置の開発に先立ち、特開２０００−１９６９２３で提案したアナログカメラ＋パルスレーザ照明型溶接部可視化装置（以下、単に「従来型可視化装置」と呼ぶ）を用いて、ＹＡＧレーザ溶接による突合せ溶接時の映像を採取した。またこの映像をもとに、シームトラッキングおよび欠陥検出に関する検討を行った。
【００２３】
２．１　映像採取
ＹＡＧレーザ溶接の溶接状況を従来型可視化装置を用いて観察し、その様子をＤＶテープに記録した。また撮影した映像から、無作為に静止画を切り取り、その画像の輝度を数値出力することで、画像の傾向を確認、検討した。さらに画像を縦または横に切断し、そのライン上の輝度分布を検討した。
【００２４】
２．２　画像の検討
（１）観察方向について
突合せ溶接を行う際、観察方向を変更した場合に開先がどのように現れるか検討する。
開先（溶接ライン）が横になるよう側面から溶接の様子を観察した映像の画像上のあるラインにおける輝度変化を図２に示す。
図２の丸印で囲った部分が開先に相当する。この図に示されるように、開先は周囲に比較して暗く出現する。また、側面観察の場合、突合せのエッジがレーザ照明を強く反射しており、これを利用して開先位置を推定することができることがわかった。
一方、開先が縦になるよう正面から溶接の様子を観察した正面観察では安定した画像処理を行うほどのコントラストは得られなかった。このことから、画像処理に十分なコントラストを取ることができるよう、照明およびＣＣＤを設置する必要があり、かつ、観察領域全体が被写界深度内に治まるように設計する必要があることがわかる。
【００２５】
（２）開先ギャップの検出について
２枚の平板を仮止めをせずに溶接を行った場合に発生するギャップを捉えることができるかどうかを検討した。開先ギャップを横断する輝度グラフを図３に示す。
この図からギャップが発生すると、基本的にはその部分の輝度が下がることがわかる。従って周囲と比較して暗い部分が広がれば開先ギャップがあると判断できる。
【００２６】
（３）溶接位置ずれの検出について
開先に対して垂直方向に、−２ｍｍの位置から溶接をスタートさせ、溶接完了時には＋２ｍｍの位置になるように溶接ロボットを移動させることで、仮想的に溶接の位置ずれを発生させた。
このような位置ずれを捉えるには、画面上の開先位置を２点以上で捉えて直線を認識し、さらに溶融池がその直線上に存在するかを調べる必要がある。しかし基本的には溶融池は画面上の決まった位置に存在するので、開先を直線として捉えることに注力すればよい。
溶接線を２箇所縦に切断したときの輝度グラフを図４に示す。この２箇所の切断位置における開先位置を結ぶことで、開先を直線として捉えることが可能となる。またこの直線が、画像上の特定の点（溶融池）を通っていないとき、溶接位置ずれが発生していることを表している。
【００２７】
（４）ブローホール検出について
ブローホール発生の様子を捉えた画像から、典型的なブローホールが出現する場合に認識は可能である。また一回の溶接でいくつのブローホールが出現したかをカウントすることもできる。ただし、開先検出と比較して、より広い領域を探索しなければならないため、データ処理量が大幅に増える。このため効率的な抽出アルゴリズムを検討する必要がある。
（５）例外画像について
入力画像から特徴量を判定する際、想定している入力画像とまったく異なる画像が入ってくる可能性がある。
このような入力画像に対してシームトラッキングを行った場合、開先の誤認識が発生し、溶接ヘッドは想定外の位置へ移動してしまう可能性がある。そのため、どのような画像が入力されたときに画像処理を開始し、実際にシームトラッキングを行ったり、ブローホールの数をカウントしたりするかを決める必要がある。
例えば、ロボットが自動運転を開始したときに画像処理を開始し、溶融池および開先がある確信度以上で検出されたときにシームトラッキングを開始するのがよい。また、溶接中に非常に外乱の多いフレームが入ってきたときは、処理結果の確信度が低い場合、そのフレームを無視するのがよい。
【００２８】
３．本発明の溶接部可視化装置と溶接制御装置の構成
本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を図５に示す。
本発明の溶接部可視化装置１０は、高画素デジタルカメラ２とフラッシュランプ４の組み合わせからなる。本発明の溶接部可視化装置１０は、ストロボ光源としてパルスレーザのかわりにフラッシュランプ４を使用することで、低コスト、運用性向上を実現した。また本発明の溶接部可視化装置１０では、高画素ＣＣＤ（例えば１４０万画素）を持つカメラ２を採用する。このカメラ２は、アナログ出力に加え、デジタル出力（例えば１３２０×１０４０Ｐｉｘｅｌ、２５Ｈｚ非圧縮）を備える。
また、溶接制御装置２０はこのデジタル出力を用いて画像処理を行う。溶接制御装置２０は、カメラ２が出力する高速大容量のデジタル出力を欠落なく取り込み、かつ、欠落なく再現する機能を持つ必要がある。また、画像処理などのデータ処理を高速で実行する機能を持つ必要がある。このような機能を低コストで実現するための溶接制御装置２０として以下のものを用いる。
【００２９】
（１）画像処理装置（ＰＣ）：ＯＳ：Ｗｉｎｄｏｗｓ（登録商標）ＮＴ４．０、ＣＰＵ：Ｐｅｎｔｉｕｍ（登録商標）４（１．５ＧＨｚ）、メインメモリ：ＲＤＲＡＭ（７６８ＭＢ）
（２）フレームグラバーボード：グラフイン社製ＩＰＭ８５６０Ｄ（ＤＭＡ転送機能、ピクセルクロックＭａｘ６０ＭＨｚ）
以下、上記の機器を用いてフレーム欠落のない画像取り込み、録画機能を実現する枠組みについて説明する。
【００３０】
３．１　リアルタイム画像取り込み機能の実現
本発明の溶接制御装置２０では、溶接部可視化装置１０から溶接状況を画像として取り込み、その画像にもとづいて溶接状況を判定する。ここではまず、リアルタイムで画像を取り込むソフトウェア構成を検討する。なお、リアルタイム画像取り込みとは、カメラ２から送られてきた映像を、フレームの欠落なしに、かつフレームの遅延なしに、メインメモリに取り込むことを意味する。
【００３１】
（１）ＩＰＭ−８５６０サンプルプログラムによる取り込み処理
図６に、ＩＰＭ−８５６０Ｄを用いた、基本的な画像の取り込みタイミングチャートを示す。以下、画像取り込みソフトウェアの処理流れに沿って、このタイミングチャートの内容を説明する。
（Ｓ１）取り込み開始指示
ＩＰＭ−８５６０Ｄのライブラリ「ｍｇＧｒａｂｂｅｒＳｔａｒｔ」を用いて、１フレーム分の画像を、あらかじめ確保しておいたメモリテーブルに転送する。ｍｇＧｒａｂｂｅｒＳｔａｒｔは、取り込み終了を待たずに即座に処理を戻す。
（Ｓ２）同期オブジェクトを待つ
あらかじめ設定されている同期オブジェクトは、１フレーム分の取り込みが終了するまで非シグナル状態になる。ＷａｉｔＦｏｒＳｉｇｎａｌＯｂｊｅｃｔは、同期オブジェクトがシグナル状態になるのを待つＷＩＮ３２ＡＰＩである。
（Ｓ３）ウィンドウ表示処理
メモリテーブルの内容（映像）をＰＣの画面に表示する。
（Ｓ４）メモリテーブルの内容をメインメモリにコピー
画像処理に先立ち、メモリテーブルの内容を、メインメモリにコピーする。
（Ｓ５）画像処理
メインメモリの内容を対象に、画像処理を行う。
【００３２】
（２）リングバッファによる画像取り込み処理
上述した画像取り込み処理は、ＩＰＭ８５６０Ｄのサンプルプログラムに示される基本的な取り込み処理だが、２フレームのうち１フレームしか取り込めない。そこで、２つ以上のメモリテーブルを併用することで、フレーム欠落のない取り込みを行うこととする。
図７では２枚のメモリテーブルを用い、取り込み回数をカウントし、奇数回目ならばメモリテーブル１へ転送、偶数回目ならばメモリテーブル２へ転送するようにしている。これにより、リアルタイム取り込みが可能となり、また、画像処理などに使える時間も比較的長く（約４０ｍｓｅｃ）確保できる。
【００３３】
（３）フレーム欠落への対策
２枚のメモリテーブルを用いたタイミングチャートを実現するアプリケーションを実装し、動作確認を行った。このアプリケーションでは、すべてのフレームを確実に取り込んでいるか確認した。
このアプリケーションで実験を行ったところ、平均して１０秒（２５０回）に１回程度、フレームの欠落が発生した（欠落発生率０．４００％）。これは、フレーム間の余裕時間が非常に短いため、同期オブジェクトがシグナル状態に変化したという割り込みを、その短いタイミング中に受けきれなかったことが原因と考えられる。
そこで、１３９２×１０４０Ｐｉｘｅｌのうち、１３９２×１０００Ｐｉｘｅｌだけ転送するようにして、フレーム間の余裕時間を伸ばして実験を行った。１時間（９００００回）の転送を２回行ったところ、どちらもフレーム欠落が１度だけ発生した（欠落発生率０．００１％）。このように、画像の必要な範囲との兼ね合いになるが、画像の一部を取り込まないことで、リアルタイム取り込みの確実性を向上させることが可能になる。
【００３４】
３．２　リアルタイム録画機能の実現
溶接制御装置２０には、観察映像を劣化・欠落なく記録し、繰り返し確認できるような機能を持たせることが必須となる。ここでは、溶接制御装置２０の録画機能について検討する。
【００３５】
（１）メモリ確保処理
高速・大容量で流れてくる画像データを、劣化・欠落なく記録するためには、メインメモリへの確実な転送が必要となる。ただし、単純にメモリを確保するだけでは、大量のメモリを利用するときに発生するページング処理などのため、リアルタイムでの記録が難しい。
そこで、映像を取り込むプロセスに対して、プロセスのワーキングサイズを増加させ、録画用の領域をメモリにロックすることで、録画時にＨＤにアクセスしないようにした。これにより、取り込んだ画像をリアルタイムでメモリに記録することが可能となる。
ロックできるメモリは、物理的な主記憶容量に制約される。現状の装置構成では７６８ＭＢの主記憶を用いているので、上限は７６８ＭＢである。また、フレームグラバーボードＩＰＭ８５６０Ｄで管理できるメモリテーブルの容量の上限は５１２ＭＢである。よって、ロックできる領域は５１２ＭＢが上限となる。
【００３６】
（２）動作確認
５１２ＭＢのメモリは、約１４秒の映像に相当する（１３９２×１０４０（Ｐｉｘｅｌ）×２５（Ｈｚ）×１４（秒）＝５０６，６８８，０００Ｂｙｔｅ）。この装置構成で、１４秒の録画を行い、フレーム欠落なく画像をメモリに記録できることを確認した。
ただし、次の録画を始める前にメモリの内容を他のメディア（ハードディスク、ＭＯディスク、ＣＤ−Ｒなど）にコピーし、メモリをクリアする必要がある。
【００３７】
４．本発明の溶接制御装置による画像採取試験
上述した画像取り込み録画機能を実装した溶接制御装置を用いて、ＹＡＧレーザ溶接の状況を観察、採取した。さまざまな条件で、溶接試験を実施した。主な溶接条件は以下の通りである。
（１）溶接手法：突合せ溶接、重ね合わせ溶接（ブローホール検知用）
（２）装置構成：同軸型、単体型
ここで、同軸型は、ミラーなどを組み合わせた治具を用い、溶接部を真上から見たような画像を採取する装置構成のものである。また、単体型は、溶接ヘッドに独立のカメラ２を取り付け、溶接部を斜め方向から覗きこむような映像を採取する装置構成のものである。
（３）溶接方向：画面上水平、垂直、斜め４５°
この各画像をもとに、溶接制御装置の自動シームトラッキングシステムと自動欠陥検知システムについて検討する。
【００３８】
５．自動シームトラッキングの検討
本発明の溶接制御装置による自動シームトラッキング機能について以下に説明する。
５．１　溶接制御装置における処理遅れ
本発明の溶接制御装置では、上述したように、実際に発生した事象Ａを画像として取り込み、画像処理によりその事象Ａを認識するまでに、ある程度時間がかかる。さらに、事象Ａの認識結果から、ステージを駆動させるといった駆動系処理を実現するためにも、ある程度時間がかかる。
この遅れは約３フレーム（１２０ｍｓｅｃ）程度かかると予想される（画像処理に４０ｍｓｅｃ、ステージ駆動に４０ｍｓｅｃと仮定した場合）。図８にその様子を示す。
この遅れを吸収するためには、図９に示すように、入力された画像から３フレーム後に発生する事象Ａを予測し、前もって補正処理をかける必要がある。
【００３９】
５．２　１〜３次元シームトラッキング
１回の溶接でロボットアームが駆動する方向が、１次元（直線）か、２次元（平面）か、３次元（立体）かによって、シームトラッキングが実装すべき機能は異なってくる。図１０は１次元〜３次元のシームトラッキングのイメージ図である。以下、１次元〜３次元のシームトラッキングを、次のように規定する。
（Ａ）１次元シームトラッキング
溶融池の位置が常に一定で、溶接方向が常に一定で、開先も基本的に決まった位置に現れる。この場合、数フレーム先の溶融池の位置が予測できるので、この位置と開先位置のずれを検出し、このずれを補正するよう前もって加工ヘッドを移動させる処理を行う。
（Ｂ）２次元シームトラッキング
溶融池の位置は常に一定だが、溶接方向が不定で、開先もどの方向に現れるか不定。この場合、数フレーム先の予測が難しいため、現在の溶融池位置に対して開先がどれだけずれているかを算出し、そのずれ量を補正するよう加工ヘッドを移動させる処理を行う。
（Ｃ）３次元シームトラッキング
溶融池周辺を斜め方向から観察すると、加工ヘッド・鋼板間の高さにずれが発生したとき、上記（Ｂ）に加え、溶融池の位置も不定になる。この場合、２次元の処理に加え、溶融池の位置から加工ヘッドの高さずれ量を算出し、高さ方向にも加工ヘッドを移動させる必要がある。
【００４０】
５．３　開先検出処理フロー検討
１次元シームトラッキングを実現する手順は、大きく以下の２つに分けられる。
（Ａ１）３フレーム後の溶融池位置の予測
（Ａ２）画像処理による開先直線の検出
（Ａ１）３フレーム後の溶融池位置は、溶接の間常に固定である。よって、溶接開始時に一度処理すればよい。
（Ａ２）の画像処理による開先直線の検出は、すべての入力画像に対して行われなければならない。よって、画像Ａに対する画像処理は、次のフレームの画像Ｂが入力されるまでの４０ｍｓｅｃ以内に完了する必要がある。
【００４１】
シームトラッキング処理手順は以下のとおりである。
（Ｓ１）３フレーム後の溶融池位置を算出する
（Ｓ２）各フレームごとに入力される画像から、開先直線を検出する
（Ｓ３）３フレーム後の溶融池位置から開先直線までのベクトルを算出する
（Ｓ４）このベクトルが、溶融池と開先のずれ量を表している。このずれが大きければ、ずれを補正するよう、治具を駆動させる。また、処理結果画像を作成し、ディスプレイ上に表示する。
図１１に、上記手順のうち（Ｓ２）に相当する開先直線検出フローチャートを示す。
【００４２】
５．４　開先検出試験結果
上述したシームトラッキング処理フローを実装した開先検出アプリケーションの画面例を図１２に示す。
このアプリケーションを用いて、同軸型溶接部可視化装置（真上から見た画像を採取できる治具を用いた溶接部可視化装置）を用いた観察映像を対象に、開先検出処理試験を行った。その結果、開先が大きく開いていないかぎり、誤認識は発生せず、また、開先の認識率も９０％程度と、ほぼ問題ない結果を得ることができた。なお、開先が大きく開いている場合には開先認識率は６０％と低い値であった。このような場合には、エラー表示、例えば「開先にギャップが発生して、溶接に失敗した」というように判断することが好ましい。
【００４３】
次に、画像処理速度について検討する。
本発明の溶接制御装置では、画像のフレーム間隔は４０ｍｓｅｃであり、すべてのフレームに対して欠落なく画像処理を加えるには、この時間（４０ｍｓｅｃ）内に画像処理を完了させる必要がある。
今回開発したプログラムによる平均画像処理速度は、画像１フレームに対して約２０ｍｓｅｃであった（Ｐｅｎｔｉｕｍ（登録商標）４、１．５ＧＨｚの場合）。これは、基本的にすべてのフレームに対して欠落なく画像処理を加えることが可能であることを意味している。
これらの結果から、同軸型の本発明の溶接部可視化装置を用いたＹＡＧレーザ溶接観察では、フレームの欠落なく、９０％程度の確率で、開先を検出することが可能である。
【００４４】
６．自動欠陥検知の検討
以下、本発明の溶接部可視化装置を用いた自動欠陥検知機能の実現についての検討結果をまとめる。
６．１　ブローホール検知処理
溶接の欠陥の一例として、重ね合わせ溶接時に発生するブローホールが挙げられる。ブローホールが多発した場合、溶接強度が十分でなくなるため、欠陥品として扱われる。
ここで、溶接中に発生したブローホールを検出し、その数をカウントするような欠陥検知システムの処理手順は以下のとおりである。
（Ｓ１）ブローホール観察エリアを算出する
（Ｓ２）各フレームの画像ごとに、観察エリア上のブローホールの有無を調べる（Ｓ３）１回の溶接におけるブローの数をカウントし、オペレータに提示する
ブローホール観察エリアは、溶融池位置、溶接ベクトル、溶接速度、視野範囲などから決定される、フレームごとの重なりがないエリアである。
図１３に、ブローホール検知処理フローチャートを示す。
【００４５】
ブローホール検知処理フローを実装したブローホール検知アプリケーションによりブローホール検知試験を行った。対象とした画像には４つのブローホールが存在するが、このすべてをブローホールとして認識した。ただし、それ以外に１箇所、ブローホールでない箇所をブローホールとして誤認識した。
このことから、ブローホールには画像処理で捉えることのできる特徴があり、ある程度の精度で検出することが可能と思われる。
【００４６】
６．２　開先ギャップ検出処理フロー検討
溶接の欠陥の一例として、突合せ溶接時に開先にギャップが発生し、溶接に失敗するという例が想定される。
ここで、上述した開先検出処理アプリケーションを利用して、開先幅を検出し出力した。この様子を図１４に示す。横軸が時間経過（フレーム数）、縦軸が開先の幅（Ｐｉｘｅｌ）である。この図から、１４０フレーム目付近から徐々に開先幅が広がってきていることが分かる。このように、開先検出が可能な映像ならば、開先幅の推移を捉えることができる。
【００４７】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【００４８】
【発明の効果】
上述したように本発明の溶接制御装置及び方法は、溶接部可視化装置１０によって得られる高品質、高解像度な映像から、開先位置・開先幅・溶融池位置・溶融池状態・ビード位置・ビード状態・およびこれらに類する溶接の特徴を検出し、その特徴量から、溶接状況をリアルタイムで解析する装置及び方法である。解析結果はリアルタイムで溶接機にフィードバックされ、溶接位置やパワーの自動補正が行われる。これにより、将来発生が予測される欠陥を防ぐことができる。
【００４９】
従って、本発明の溶接部可視化装置は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができ、本発明の溶接制御装置及び方法は、得られた映像を用いて溶接状況をリアルタイムで解析しその解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる、等の優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の溶接部可視化装置とこれを用いた溶接制御装置の構成図である。
【図２】側面観察における画像上のあるラインにおける輝度変化を示す図である。
【図３】開先ギャップを横断する輝度グラフを示す図である。
【図４】溶接線を２箇所縦に切断したときの輝度グラフを示す図である。
【図５】本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を示す図である。
【図６】基本的な画像の取り込みタイミングチャートを示す図である。
【図７】２枚のメモリテーブルを用いた画像の取り込みタイミングチャートを示す図である。
【図８】事象Ａに対する補正処理の遅れを示す図である。
【図９】事象Ａの予測・補正処理を示す図である。
【図１０】１次元〜３次元のシームトラッキングのイメージ図である。
【図１１】シームトラッキング処理における開先直線検出フロー図である。
【図１２】シームトラッキング処理フローによる開先検出の画面例を示すＣＲＴ上の中間調画像である。
【図１３】ブローホール検知処理フロー図である。
【図１４】開先ギャップの検出状態を示す図である。
【符号の説明】
２　高画素ＣＣＤカメラ、
４　高輝度フラッシュランプ、
６　同軸型光学系、
１０　溶接部可視化装置、
１２　画像取込み装置、
１４　画像処理装置、
１６　出力装置、
２０　溶接制御装置
【図１】
2004074264.tif 000003
【図２】
2004074264.tif 000004
【図３】
2004074264.tif 000005
【図４】
2004074264.tif 000006
【図５】
2004074264.tif 000007
【図６】
2004074264.tif 000008
【図７】
2004074264.tif 000009
【図８】
2004074264.tif 000010
【図９】
2004074264.tif 000011
【図１０】
2004074264.tif 000012
【図１１】
2004074264.tif 000013
【図１２】
2004074264.tif 000014
【図１３】
2004074264.tif 000015
【図１４】
2004074264.tif 000016