(57)【要約】【課題】ビード全体の形状を認識でき、かつビードの形状を認識するための画像処理の精度を高めることができる画像処理方法及び画像処理システム。【解決手段】ビーム系接合時に残熱発光が生じている溶接部分を撮影かつ取り込んだ画像に基づいて、溶接部分のビードの形状を認識する画像処理方法であって、画像上に複数の基準線を設定し、画像内の残熱発光の輝度がビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び残熱発光の輝度が輝度閾値より小さい暗領域間の輝度境界と基準線との交差箇所に輪郭点を形成し、同一の前記基準線上における２つの輪郭点間の中間に背骨点を形成し、背骨点に基づいてビードの概略形状を判定し、ビードの概略形状が円弧形状又は直線形状と判定された場合に、円弧形状又は直線形状のビードに対応して背骨点を修正した修正背骨点を設定することを含む画像処理方法。その方法を用いた画像処理システム。【選択図】図７
2014016304.tif 000002
【特許請求の範囲】
【請求項１】
ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、
前記画像上に複数の基準線を設定するステップと、
前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さいい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、
同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、
前記背骨点に基づいて前記ビードの概略形状を判定するステップと、
前記ビードの概略形状が円弧形状であると判定された場合に、前記円弧形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップと
を含み、
前記ビードの概略形状が円弧形状である場合に前記修正背骨点を設定するステップが、
前記複数の背骨点の中から前記ビードの長さを均等に分けるように位置する３個以上の代表背骨点を抽出し、
隣接する前記代表背骨点を結ぶ線分の長手方向中間にて該線分に直交する二等分線を算出し、
前記複数の二等分線同士の交点を算出し、
前記二等分線の交点から放射状に延びる複数の修正基準線を設定し、
前記輝度境界と前記修正基準線との交差箇所に前記修正輪郭点を形成し、かつ
同一の前記修正基準線上における２つの前記修正輪郭点間の中間に前記修正背骨点を形成すること
を含む、画像処理方法。
【請求項２】
前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップをさらに含み、
前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、
前記ビードの延びる方向に直交する複数の修正基準線を設定し、
前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ
同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成すること
を含む、請求項１に記載の画像処理方法。
【請求項３】
ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、
前記画像上に複数の基準線を設定するステップと、
前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、
同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、
前記背骨点に基づいて前記ビードの概略形状を判断するステップと、
前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップと
を含み、
前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、
前記ビードの延びる方向に直交する複数の修正基準線を設定し、
前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ
同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成すること
を含む、画像処理方法。
【請求項４】
前記明領域の幅が所定の幅閾値以下になっている場合に、前記輪郭点を形成するステップにて、前記輝度境界と前記基準線との交差箇所に輪郭点を形成する請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
請求項１〜４のいずれか一項の画像処理方法を用いる画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビーム系接合時に残熱発光が生じている状態の溶接領域をモニタ部によって撮影かつ取り込んだ画像に基づいて、溶接領域に形成されるビードの形状を認識する画像処理方法に関し、かつその方法を用いた画像処理システムに関する。
【背景技術】
【０００２】
従来より、特許文献１に開示されるように、レーザ溶接中に発光が生じている溶接部分を、カメラ、光センサ等によって撮影し、かつ撮影した溶接部分の画像を取り込み、取り込んだ画像に基づいて、溶接部分のビードの形状を認識する画像処理が行われている。しかしながら、特許文献１の画像処理では、レーザ溶接中に発生するプラズマ光、スパッタ粒子等の影響によって、溶接部分のビードの形状を正確に認識することが難しくなっており、このことが問題になっている。
【０００３】
そこで、特許文献２に開示されるように、プラズマ光、スパッタ粒子等の影響を避けるべく、レーザ溶接直後に金属の発熱が残っている短い時間内にビードの接合終端部分に生じる熱発光（以下、「残熱発光」という）をカメラによって撮影し、かつ撮影した残熱発光の画像を取り込むように構成された画像処理が提案されている。この画像処理は、取り込んだ残熱発光の画像に基づいてビードの接合終端部分の形状を認識するように構成されている。また、この画像処理装置は、取り込んだ画像にて不連続に分離したビードの形状が認識された場合、及びビードの溶接終端に凹形状が認識された場合に、穴欠陥が発生したと判定するように構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−  ４３７４１号公報
【特許文献２】特開２０１２−  ４５６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２の画像処理は、レーザ溶接直後に残熱発光が生じているビードの接合終端部分の形状を正確に認識できる一方で、この画像処理は、ビードの接合始端部分、並びに接合始端部分及び接合終端部分間に位置するビードの接合中間部分における残熱発光がレーザ溶接直後には冷えて弱くなっているために、ビードの接合始端部分の形状、及びビードの接合中間部分の形状を正確に認識することが困難になっている。そのため、レーザ溶接のビード全体の形状を正確に認識することが望まれており、さらに、このようなビードの形状を認識するための画像処理においては、その精度を高めることが望まれている。
【０００６】
本発明はこのような実状に鑑みてなされたものであって、その目的は、ビード全体の形状を認識でき、かつビードの形状を認識するための画像処理の精度を高めることができる画像処理方法及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
課題を解決するために、本発明の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像上に複数の基準線を設定するステップと、前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、前記背骨点に基づいて前記ビードの概略形状を判定するステップと、前記ビードの概略形状が円弧形状であると判定された場合に、前記円弧形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップとを含み、前記ビードの概略形状が円弧形状である場合に前記修正背骨点を設定するステップが、前記複数の背骨点の中から前記ビードの長さを均等に分けるように位置する３個以上の代表背骨点を抽出し、隣接する前記代表背骨点を結ぶ線分の長手方向中間にて該線分に直交する二等分線を算出し、前記複数の二等分線同士の交点を算出し、前記二等分線の交点から放射状に延びる複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に前記修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に前記修正背骨点を形成することを含む。
【０００８】
本発明の一態様に係る画像処理方法は、前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップをさらに含み、前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、前記ビードの延びる方向に直交する複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成することを含む。
【０００９】
本発明の別の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像上に複数の基準線を設定するステップと、前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、前記背骨点に基づいて前記ビードの概略形状を判断するステップと、前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップとを含み、前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、前記ビードの延びる方向に直交する複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成することを含む。
【００１０】
本発明の一態様又は別の一態様に係る画像処理方法では、前記明領域の幅が所定の幅閾値以下になっている場合に、前記輪郭点を形成するステップにて、前記輝度境界と前記基準線との交差箇所に輪郭点を形成する。
【００１１】
課題を解決するために、本発明の一態様又は別の一態様に係る画像処理システムは、上述の画像処理方法を用いる。
【発明の効果】
【００１２】
本発明によれば、以下の効果を得ることができる。本発明の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像上に複数の基準線を設定するステップと、前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、前記背骨点に基づいて前記ビードの概略形状を判定するステップと、前記ビードの概略形状が円弧形状であると判定された場合に、前記円弧形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップとを含み、前記ビードの概略形状が円弧形状である場合に前記修正背骨点を設定するステップが、前記複数の背骨点の中から前記ビードの長さを均等に分けるように位置する３個以上の代表背骨点を抽出し、隣接する前記代表背骨点を結ぶ線分の長手方向中間にて該線分に直交する二等分線を算出し、前記複数の二等分線同士の交点を算出し、前記二等分線の交点から放射状に延びる複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に前記修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に前記修正背骨点を形成することを含む。また、本発明の一態様に係る画像処理方法は、前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップをさらに含み、前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、前記ビードの延びる方向に直交する複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成することを含む。本発明の別の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像上に複数の基準線を設定するステップと、前記画像内の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きい明領域、及び前記残熱発光の輝度が前記輝度閾値より小さい暗領域間の輝度境界と前記基準線との交差箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間の中間に背骨点を形成するステップと、前記背骨点に基づいて前記ビードの概略形状を判断するステップと、前記ビードの概略形状が直線形状であると判断された場合に、前記直線形状のビードに対応して前記背骨点を修正した修正背骨点を設定するステップとを含み、前記ビードの概略形状が直線形状である場合に前記修正背骨点を設定するステップが、前記ビードの延びる方向に直交する複数の修正基準線を設定し、前記輝度境界と前記修正基準線との交差箇所に修正輪郭点を形成し、かつ同一の前記修正基準線上における２つの前記修正輪郭点間の中間に修正背骨点を形成することを含む。そのため、暫定的に定義された背骨点により判定されたビードの概略形状を考慮して算出された修正背骨点に基づいて、ビードの形状認識の基準となる背骨線が形成されることになる。その結果、正確な修正背骨点に基づいて背骨線を正確に形成でき、正確な背骨線に基づいてビードの形状を正確に認識することができる。よって、ビードの形状を認識する画像処理の精度を高めることができる。
【００１３】
本発明の一態様又は別の一態様に係る画像処理方法では、前記明領域の幅が所定の幅閾値以下になっている場合に、前記輪郭点を形成するステップにて、前記輝度境界と前記基準線との交差箇所に輪郭点を形成するので、所定の幅閾値より大きな幅の明領域を有するプラズマ光及びスパッタ粒子の影響を取り除くことができる。その結果、ビードの接合終端部分に加えて、プラズマ光及びスパッタ粒子の影響を受けるビードの接合始端部分及び接合中間部分を正確に認識できる。よって、ビード全体の形状を正確に認識することができ、かつビードの形状を認識する画像処理の精度を高めることができる。
【００１４】
本発明の一態様又は別の一態様に係る画像処理システムは、上述の画像処理方法を用いる。そのため、上述のように、ビード全体の形状を認識でき、かつビードの形状を認識するための画像処理の精度を高めることができる
【図面の簡単な説明】
【００１５】
【図１】溶接領域に形成されるビードを示す模式図である。
【図２】本発明の第１実施形態に係る画像処理システムを示すブロック図である。
【図３】本発明の第１実施形態における画像取り込み装置のレーザ照射部及びモニタ部を示す模式図である。
【図４】黒体放射の輻射強度と波長との関係を示す図である。
【図５】シリコン系の半導体から作製される撮像素子の相対感度と撮像素子に入力される波長との関係を示す図である。
【図６】本発明の第１実施形態における溶接直後の時間経過と残熱発光の輝度との関係の一例を示す図である。
【図７】本発明の第１実施形態における画像処理装置の画像処理部を示すブロック図である。
【図８】本発明の第１実施形態において、実際のビードに対応してビード領域を表示した画像の一例を示す模式図である。
【図９】本発明の第１実施形態において、円弧形状のビードに対応して、基準線上に形成された輪郭点及び背骨点を表示した画像の一例を示す模式図である。
【図１０】本発明の第１実施形態において、直線形状のビードに対応して、基準線上に形成された輪郭点及び背骨点を表示した画像の一例を示す模式図である。
【図１１】本発明の第１実施形態において、ビードの概略形状が円弧形状である場合に、代表背骨点、二等分線、及び交点を表示した画像の一例を示す模式図である。
【図１２】本発明の第１実施形態において、ビードの概略形状が円弧形状である場合に、修正基準線、修正輪郭点、修正背骨点、輪郭線、及び背骨線を表示した画像の一例を示す模式図である。
【図１３】本発明の第１実施形態において、ビードの概略形状が直線形状である場合に、修正基準線、修正輪郭点、修正背骨点、輪郭線、及び背骨線を表示した画像の一例を示す模式図である。
【図１４】本発明の第１実施形態において、取り込まれた画像の画像処理方法の概要を説明するフローチャートである。
【図１５】図１４のフローチャートにおける円弧用修正要素の画像処理方法を説明するフローチャートである。
【図１６】図１４のフローチャートにおける直線用修正要素の画像処理方法を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の第１実施形態に係る画像処理システムについて説明する。
【００１７】
最初に、図１を参照して、画像処理を実施する対象である溶接部材Ｍの溶接領域Ｊに形成されるビードｍについて説明する。略円弧状に形成されたビードｍは、レーザ溶接の開始地点に形成される接合始端部分（以下、「始端部分」という）ｍ１と、レーザ溶接の溶接終了地点に形成される接合終端部分（以下、「終端部分」という）ｍ２と、始端部分ｍ１及び終端部分ｍ２間に形成される接合中間部分（以下、「中間部分」という）ｍ３とを有している。本実施形態では、一例として、ビードｍは略円弧状に形成されているが、直線状、Ｌ字状、波状等の他の形状であってもよい。
【００１８】
図２を参照すると、画像処理システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザ光Ｌ１を溶接部材Ｍの溶接領域Ｊに照射可能とし、レーザ溶接時の残熱発光が生じている溶接領域Ｊを撮影し、かつ撮影した溶接領域Ｊの画像を取り込むように構成されている。また、画像処理システム１は、画像取り込み装置２に接続される画像処理装置３を有している。画像処理装置３は画像処理部４を有しており、画像処理部４は、画像取り込み装置２により取り込んだ溶接領域Ｊの画像に基づいてビードｍの形状を認識するようになっている。画像処理装置３はビード形状判定部５を有しており、ビード形状判定部５は、画像処理部４により認識されたビードｍの形状に基づいて、ビードｍに発生する欠陥を判定するようになっている。
【００１９】
ここで、図２及び図３を参照して、画像取り込み装置２の詳細を説明する。図２を参照すると、画像取り込み装置２はレーザ照射部６を有しており、このレーザ照射部６は、溶接部材Ｍの溶接領域Ｊに溶接用のレーザ光Ｌ１を照射可能とするように構成されている。画像取り込み装置２はモニタ部７を有しており、このモニタ部７はレーザを照射した溶接領域Ｊの画像を連続的に撮影するように構成されている。画像取り込み装置２は記憶部８を有しており、この記憶部８はモニタ部７により撮影した画像を連続的に記憶するように構成されている。画像取り込み装置２は画像取り込み部９を有しており、この画像取り込み部９は、記憶部８に記憶された画像を取り込むように構成されている。
【００２０】
図３を参照すると、レーザ照射部６はレーザ発振器６ａを有しており、レーザ発振器６ａはレーザ光Ｌ１を発射可能とするように構成されている。レーザ照射部６は略平板状のハーフミラー６ｂを有しており、ハーフミラー６ｂは、レーザ発振器６ａから発射されたレーザ光Ｌ１の光路上に配置されている。このハーフミラー６ｂの表面６ｂ１及び裏面６ｂ２は、レーザ発振器６ａから発射されるレーザ光Ｌ１の光路に対して、所定の角度θ１傾斜している。一例として、所定の角度θ１は４５度であると好ましい。レーザ照射部６は溶接用集光レンズ６ｃを有しており、溶接用集光レンズ６ｃは、ハーフミラー６ｂを通過したレーザ光Ｌ１の光路上に配置されている。また、溶接用集光レンズ６ｃは、レーザ光Ｌ１を溶接部材Ｍ上に集光するように構成されている。このようなレーザ照射部６においては、レーザ発振器６ａから発射されたレーザ光Ｌ１が、ハーフミラー６ｂを通過し、かつ溶接用集光レンズ６ｃによって集光された後に、溶接部材Ｍに照射されることとなる。また、溶接部材Ｍに照射されたレーザ光Ｌ１の一部は反射して、この反射した光（以下、「モニタリング光」という）Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂの裏面６ｂ２に反射することによって角度を変えられた後に、モニタ部７に送られることとなる。
【００２１】
モニタ部７は略平板状のミラー７ａを有しており、ミラー７ａは、レーザ照射部６のハーフミラー６ｃによって角度を変えられたモニタリング光Ｌ２の光路上に配置され、ミラー７ａの反射面７ａ１は、このモニタリング光Ｌ２の光路に対して、所定の角度θ２傾斜している。モニタ部７は倍率調整レンズ７ｂを有しており、倍率調整レンズ７ｂは、撮影倍率を調整するように構成されている。倍率調整レンズ７ｂは、ミラー７ａにより反射されたモニタリング光Ｌ２の光路上に配置されている。モニタ部７は、後述するシリコン系の半導体から作製された撮像素子（以下、「Ｓｉ系撮像素子」という）７ｆに対応するロングパスフィルタ（以下、「Ｓｉ用ロングパスフィルタ」という）７ｃを有しており、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍ以上の波長範囲で光を透過するように構成されている。このＳｉ用ロングパスフィルタ７ｃは、倍率調整レンズ７ｂを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７はＮＤフィルタ７ｄを有しており、ＮＤフィルタ７ｄは、それを通過する光の量を減少するように構成されている。ＮＤフィルタ７ｄは、Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７は撮像用集光レンズ７ｅを有しており、撮像用集光レンズ７ｅは、ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２の光路上に配置されている。また、撮像用集光レンズ７ｅは、モニタリング光Ｌ２を、後述するＳｉ系撮像素子７ｆの撮像面上に集光するように構成されている。モニタ部７はＳｉ系撮像素子７ｆを有しており、Ｓｉ系撮像素子７ｆは、モニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、Ｓｉ系撮像素子７ｆは、２００ｎｍ〜１１００ｎｍの波長範囲において光に対する感度を有している。モニタ部７はアンプ７ｇを有しており、アンプ７ｇは、Ｓｉ系撮像素子７ｆから送られるアナログ電気信号を増幅するように構成されている。モニタ部７はＡ／Ｄ変換器７ｈを有しており、Ａ／Ｄ変換器７ｈはアンプ７ｇにより増幅されたアナログ電気信号をデジタル電気信号に変換するように構成されている。Ａ／Ｄ変換器７ｈにより変換されたデジタル電気信号は記憶部８に送られることとなる。なお、モニタ部７のフレームレートは、５０Ｈｚ以上かつ１０００Ｈｚ以下になっている。
【００２２】
Ｓｉ系撮像素子７ｆの撮像面の条件について説明する。Ｓｉ系撮像素子７ｆの撮像面がビードｍ全体を配置した領域に対して著しく大きい場合、画像上で表示されるビードｍが少ないピクセル数によって表示されこととなる。この場合、ビードｍの形状を正確に認識できなくなる。そのため、Ｓｉ系撮像素子７ｆの撮像面が略正方形状に形成されていると想定した場合、撮像面の一辺の長さをｄとし、溶接用集光レンズ６ｃの焦点距離をｆ１とし、撮像用集光レンズ７ｅの焦点距離をｆ２とし、倍率調整レンズ７ｂの倍率をｓとし、ビードｍ全体を配置した領域の最大長さをｌとすると、Ｓｉ系撮像素子７ｆの撮像面の一辺の長さは、次の式（１）の条件を満たすと好ましい。
【００２３】
【数１】
2014016304.tif 000003
【００２４】
Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲について説明する。レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度と波長との関係は、黒体放射の式を用いて絶対温度を１２００Ｋ、１０００Ｋ、及び８００Ｋとして計算した場合、図４に示したグラフのようになる。図４のグラフでは、絶対温度を１２００Ｋとした場合の計算結果を実線Ａ１で示し、絶対温度を１０００Ｋとした場合の計算結果を破線Ａ２で示し、かつ絶対温度を８００Ｋとした場合の計算結果を一点鎖線Ａ３で示している。図４のグラフを参照すると、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が、長波長領域で高くなることが確認できる。
【００２５】
また、Ｓｉ系撮像素子７ｆの相対感度とＳｉ系撮像素子７ｆに入力される光の波長との関係は、典型的には、図５に示すようになっている。図５に示すように、Ｓｉ系撮像素子７ｆの感度は、特に、６００ｎｍ以上の波長範囲で低下している。そのため、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲において、低い強度の光を感知し難く、かつ高い強度の光を感知する傾向にある。
【００２６】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、波長のバラツキとを考慮して、Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲は、８００ｎｍ以上に定められている。そのため、Ｓｉ系撮像素子７ｆには、８００ｎｍ以上の波長範囲で光が送られて、Ｓｉ系撮像素子７ｆは、入力される光を８００ｎｍ〜１１００ｎｍの波長範囲で感知することとなる。このような波長範囲では、Ｓｉ系撮像素子７ｆは、低い輻射強度を有する遷移発光の成分を含んだプラズマ光を感知し難い一方で、高い輻射強度を有する黒体放射による発光の成分を多く含む残熱発光を感知し易くなっている。なお、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲で光を感知できればよいので、例えば、Ｓｉ用ロングパスフィルタ７ｃが、８００ｎｍ、９００ｎｍ、又は１０００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００２７】
また、モニタ部７のフレームレートの範囲について説明する。溶接開始付近では発生するプラズマが大きな領域を占めているので、溶接を既に終えているビードｍを観察できないことが多い。そのため、溶接開始から一定時間経過後に、記憶部８に画像を蓄積することが有効である。また、ビードｍ全体を画像処理の対象とするためには、連続して取得した複数の画像の一部を用いればよいので、このような複数の画像の一部を取得すればよい。また、画像処理に用いる画像は、完全に連続している必要はない。ビードｍの終端部分ｍ２においては、高速で複数の画像を撮影しない場合に、金属が冷えるので、画像の撮影は高サンプリングにする必要がある。その一方で、溶接開始から溶接終了までの間の途中観察において、高サンプリングで画像の撮影をした場合、ほとんど変化がない複数の画像が取得されることとなる。このような複数の画像において同様の特性を計算することは無駄になるので、モニタ部７のフレームレートは、計算処理時間の短縮、記憶部８の容量の節約等を考慮して定めることが好ましい。そこで、フレームレートの上限値が高くなるに連れて、撮影される画像の数量が増加することによって、ビードｍの形状を認識する精度が高くなる一方で、１秒間に撮影される画像の数量が１０００フレームより大きい場合（すなわち、フレームレートが１０００Ｈｚより大きい場合）、画像処理の計算負荷が増加することとなることを考慮して、フレームレートの上限値は１０００Ｈｚに定められている。
【００２８】
その一方で、フレームレートの下限値が低い場合、１つの画像を撮影するタイミングから次の画像を撮影するタイミングまでの間に、撮影しようとするビードｍの溶接領域Ｊが移動して、モニタ部７により捕らえられた撮影範囲から外れるおそれがある。この場合、ビードｍを正確に撮影することができなくなる。そこで、フレームレートの下限値は、次のような条件を満たす必要がある。
【００２９】
フレームレートをｆとし、溶接に用いられるレーザ光Ｌ１の移動速度をＶｍとし、かつ撮影範囲の中心から撮影範囲内と撮影範囲外との間の境界までの最短距離をＲｍとした場合、フレームレートは、次の式（２）の条件を満たすと好ましい。
【００３０】
【数２】
2014016304.tif 000004
【００３１】
典型的な条件において、Ｖｍは０．１３３ｍ／ｓｅｃ（８ｍ／ｍｉｎ）になり、かつＲｍは０．００２ｍ（２ｍｍ）になるので、式（２）よりｆを約６７Ｈｚより大きくする必要がある。さらに、レーザ光Ｌ１の移動速度のバラツキを考慮して、フレームレートの下限値は５０Ｈｚに定められている。
【００３２】
図６を参照すると、画像取り込み部９は、溶接終了直後から所定の時間内に生じる残熱発光の画像を取り込むように構成されている。具体的には、画像取り込み部９は、画像の平均輝度Ｇが所定の取り込み開始（検査開始）輝度閾値ｇ１以下である場合に、画像の取り込みを開始し、予め設定された枚数の画像の撮影を終了した場合に、又は画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。
【００３３】
ここで、画像取り込み装置２の好ましい形態の一例を説明する。残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、溶接終了直後から約２０ｍｓ間に生じる光であると好ましい。この場合、モニタ部７には、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラが用いられるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部７には、高ダイナミックレンジカメラが用いられると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部９では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。
【００３４】
次に、図７〜図１３を参照して、画像処理装置３の画像処理部４の詳細を説明する。図７を参照すると、画像処理部４はビード認識手段１０を有しており、このビード認識手段１０は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するようになっている。図７を参照すると、画像処理部４はビード判別手段１１を有しており、このビード判別手段１１は、複数のビード領域候補が認識された場合に、図８に示すように、複数のビード領域候補から実際のビードに対応するビード領域Ｅを判別するようになっている。なお、ビード領域Ｅは、ビードｍの始端部分ｍ１に対応する始端部分Ｅ１、ビードｍの終端部分ｍ２に対応する中間部分Ｅ２、及びビードｍの中間部分ｍ３に対応する終端部分Ｅ３を有している。再び図７を参照すると、画像処理部４は基準線設定手段１２を有しており、この基準線設定手段１２は、図９及び図１０に示すように、取り込んだ画像にて複数の基準線Ｌを格子状に設定するようになっている。図７を参照すると、画像処理部４は輪郭点形成手段１３を有しており、この輪郭点形成手段１３は、図９及び図１０に示すように、基準線Ｌ上にビード領域Ｅの輪郭点ｐを形成するようになっている。図７を参照すると、画像処理部４は背骨点形成手段１４を有しており、この背骨点形成手段１４は、図９及び図１０に示すように、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間に位置する背骨点ｑを形成するようになっている。
【００３５】
図７を参照すると、画像処理部４は概略形状判定手段１５を有しており、概略形状判定手段１５は、背骨点ｑに基づいてビードｍの概略形状を判断するようになっている。図７を参照すると、画像処理部４は円弧用修正要素１６を有しており、円弧用修正要素１６は、図９に示すように、概略形状判定手段１５がビードｍの概略形状を円弧形状と判定した場合に、図１１及び図１２に示すように、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出するようになっている。図２を参照すると、画像処理部４は直線用修正要素１７を有しており、直線用修正要素１７は、図１０に示すように、概略形状判定手段１５がビードｍの概略形状を直線形状と判定した場合に、図１３に示すように、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出するようになっている。図７を参照すると、画像処理部４は輪郭線形成手段１８を有しており、この輪郭線形成手段１８は、輪郭点ｐに基づいて輪郭線Ｐを形成するか、又は図１２及び図１３に示すように円弧用修正要素１６及び直線用修正要素１７によって算出された複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成するようになっている。図７を参照すると、画像処理部４は背骨線形成手段１９を有しており、この背骨線形成手段１９は、背骨点ｑに基づいて背骨線Ｑを形成するか、又は図１２及び図１３に示すように円弧用修正要素１６及び直線用修正要素１７によって算出された複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成するようになっている。
【００３６】
ビード認識手段１０の詳細について説明する。ビード認識手段１０により認識されるビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きい領域になっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別可能とするように設定されている。なお、ビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。
【００３７】
図７を参照して、ビード判別手段１１の詳細について説明する。ビード判別手段１１は、ビード領域候補の幅Ｂが所定の幅閾値ｂ以下になっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識するようになっている。一例として、溶接部材Ｍの溶接領域Ｊに形成されるビードｍの幅が、バラツキによって予め定められた値の２倍より大きくなり難いので、幅閾値ｂは、予め定められたビードｍの幅の２倍であるとよく、より精度を高めるためには、幅閾値ｂは、予め定められたビードｍの幅の１．５倍であると好ましい。また、ビード判別手段１１は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択するようになっていていると好ましい。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に選択されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別手段１１は、複数のビード領域候補が時間を前後して取り込んだ画像において移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するようになっていると好ましい。
【００３８】
図８及び図９を参照して、基準線設定手段１２の詳細について説明する。基準線設定手段１２により設定される複数の基準線Ｌは、互いにピクセル単位の間隔を空けて配置されている。このような複数の基準線Ｌ同士の間隔は、複数のビード領域点ｅの間隔より大きくなっていると好ましい。
【００３９】
図８及び図９を参照して、輪郭点形成手段１３の詳細について説明する。輪郭点ｐは、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界と基準線Ｌとの交差箇所に形成される。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きい明領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さい暗領域との間の輝度境界に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｈは、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって、設定されているとよい。
【００４０】
図８及び図９を参照して、概略形状判定手段１５の詳細について説明する。概略形状判定手段１５は、複数の背骨点ｑの位置に基づいて、ビードｍの形状が、円弧形状、直線形状、又は円弧形状及び直線形状以外の形状であるかを判定するようになっている。
【００４１】
図７、図１１、及び図１２を参照して、円弧用修正要素１６の詳細について説明する。図７を参照すると、円弧用修正要素１６は代表背骨点抽出手段２０を有しており、代表背骨点抽出部２０は、図１１に示すように、複数の背骨点ｑからビード領域Ｅの長さを均等に分けるように位置する３個以上の代表背骨点ｑ０を抽出するようになっている。図７を参照すると、円弧用修正要素１６は二等分線算出手段２１を有しており、二等分線算出手段２１は、図１１に示すように、隣接する代表背骨点ｑ０を結ぶ線分の長手方向中間で当該線分に直交する二等分線Ｄを算出するようになっている。図７を参照すると、円弧用修正要素１６は交点算出手段２２を有しており、交点算出手段２２は、図１１に示すように、複数の二等分線Ｄ同士の交点ｃを算出するようになっている。図７を参照すると、円弧用修正要素１６は円弧用修正基準線設定手段２３を有しており、円弧用修正基準点設定手段２３は、図１２に示すように、二等分線Ｄの交点ｃを中心として放射状に延びる複数の修正基準線Ｌ’を設定するようになっている。図７を参照すると、円弧用修正要素１６は円弧用修正輪郭点形成手段２４を有しており、円弧用修正輪郭点形成手段２４は、図１２に示すように、ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成するようになっている。図７を参照すると、円弧用修正要素１６は円弧用修正背骨点形成手段２６を有しており、円弧用修正背骨点形成手段２５は、図１２に示すように、同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間の中間に修正背骨点ｑ’を形成するようになっている。
【００４２】
図７及び図１３を参照して、直線用修正要素１７の詳細について説明する。図７を参照すると、直線用修正要素１７は直線用修正基準線設定手段２６を有しており、直線用修正基準線形成手段２６は、図１３に示すように、ビード領域Ｅの延びる方向に直交する複数の修正基準線Ｌ’を設定するようになっている。図７を参照すると、直線用修正手段１６は直線用修正輪郭点形成手段２７を有しており、直線用修正輪郭点形成手段２７は、図１３に示すように、ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成するようになっている。図７を参照すると、直線用修正手段１６は直線用修正背骨点形成手段２８を有しており、直線用修正背骨点形成手段２８は、図１３に示すように、同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間に修正背骨点ｑ’を形成するようになっている。
【００４３】
図１１及び図１３を参照して、修正輪郭線形成手段１８及び修正背骨線形成手段１９の詳細について説明する。修正輪郭線形成手段１８は、フィッティング関数ｆｎ１を用いて、複数の修正輪郭点ｐ’に基づく輪郭線Ｐを形成するようになっている。また、修正背骨線形成手段１９は、フィッティング関数ｆｎ２を用いて、複数の修正背骨点ｑ’に基づく背骨線Ｑを形成するようになっている。一例として、フィッティング関数ｆｎ１及びフィッティング関数ｆｎ２の少なくとも一方が、各修正輪郭点ｐ’又は各修正背骨点ｑ’の座標を（ＸＪ，ＹＪ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）と認識した場合に、下記式（３）に基づく折れ線によって定義されてもよい。
【００４４】
【数３】
2014016304.tif 000005
【００４５】
式（３）のＡＸＪ、ＢＸＪ、ＡＹＪ、ＢＹＪ、及びｔＪは、それぞれ下記式（４）〜式（８）によって定義される。
【数４】
2014016304.tif 000006
【００４６】
ビード形状判定部５の詳細を説明する。ビード形状判定部５は、画像処理部４により認識された輪郭線Ｐ及び背骨線Ｑ間の関係と、背骨線Ｑに沿った残熱発光の輝度の情報とに基づいて、ビードｍに発生する欠陥を判定するようになっている。
【００４７】
ここで、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法を説明する。最初に、画像取り込み装置２における画像取り込み方法について説明する。画像取り込み装置２のレーザ照射部６において、レーザ発振器６ａがレーザ光Ｌ１を発射する。レーザ発振器６ａから発射されたレーザ光Ｌ１は、ハーフミラー６ｂを通過し、かつ溶接用集光ミラー６ｃによって集光された後に、溶接部材Ｍの溶接領域Ｊに照射される。その後、溶接部材Ｍの溶接領域Ｊに照射されたレーザ光Ｌ１によりビードｍを形成した部分から残熱発光が出射してモニタリング光Ｌ２となる。このモニタリング光Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られる。
【００４８】
画像取り込み装置２のモニタ部７において、レーザ照射部６から送られたモニタリング光Ｌ２は、ミラー７ａによって角度を変えられた後に、倍率調整レンズ７ｂに送られる。モニタリング光Ｌ２が倍率調整レンズ６ｂを通過する際、その倍率が調整される。倍率調整レンズ７ｂにより倍率調整されたモニタリング光Ｌ２は、Ｓｉ用ロングパスフィルタ７ｃに送られる。Ｓｉ用ロングパスフィルタ７ｃにおいて、モニタリング光Ｌ２の８００ｎｍより小さな波長成分が遮断され、かつモニタリング光Ｌ２の８００ｎｍより大きな波長成分がＳｉ用ロングパスフィルタ７ｃを透過する。Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２は、ＮＤフィルタ７ｄに送られる。ＮＤフィルタ７ｄにおいて、モニタリング光Ｌ２の光の量が、画像処理装置３の画像処理部４によってビードｍの形状を明確に認識可能とするように減少する。ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２は、撮像用集光レンズ７ｅに送られる。撮像用集光レンズ７ｅにおいて、モニタリング光Ｌ２が集光される。撮影用集光レンズ７ｅにより集光されたモニタリング光Ｌ２は、Ｓｉ系撮像素子７ｆに照射される。Ｓｉ系撮像素子７ｆにおいて、モニタリング光Ｌ２における８００ｎｍ〜１１００ｎｍの波長範囲の成分が感知され、感知されたモニタリング光Ｌ２がアナログ電気信号に変換され、このアナログ電気信号はアンプ７ｇに送られる。アンプ７ｇにおいて、アナログ電気信号は増幅され、増幅されたアナログ電気信号はＡ／Ｄ変換器７ｈに送られる。Ａ／Ｄ変換器７ｈにおいて、アナログ電気信号はデジタル電気信号に変換され、このデジタル電気信号は記憶部８に送られる。記憶部８において、デジタル電気信号は１つの画像として記憶される。このようにＳｉ系撮像素子７ｆにモニタリング光Ｌ２を照射し、Ｓｉ系撮像素子７ｆによりモニタリング光Ｌ２をアナログ電気信号に変換し、Ａ／Ｄ変換器７ｈによりアナログ電気信号をデジタル電気信号に変換し、かつこのデジタル電気信号を１つの画像として記憶する動作は、５０Ｈｚより大きくかつ１０００Ｈｚより小さなフレームレートに基づいて連続的に実施される。さらに、記憶部８に記憶された画像は画像取り込み部９に取り込まれる。
【００４９】
次に、図１４のフローチャートを参照して、画像処理装置３における画像処理方法を説明する。画像取り込み装置２の画像取り込み部９に取り込んだ画像に基づいて、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっているビード領域候補を認識し、複数のビード領域候補が認識された場合に、複数のビード領域候補の１つを読み出す（Ｓ１）。読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００５０】
ビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であると判別された場合（ＹＥＳ）、複数の基準線Ｌを格子状に設定し（Ｓ３）、ビードｍの輪郭に相当する輝度境界と基準線Ｌとの交差箇所に輪郭点ｐを形成し（Ｓ４）、かつ同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間に位置する背骨点ｑを形成する（Ｓ５）。背骨点ｑに基づいてビードｍの概略形状が円弧形状であるか否かを判断する（Ｓ６）。
【００５１】
ビードｍの概略形状が円弧形状であると判定された場合（ＹＥＳ）、円弧用修正要素１６によって、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する（Ｓ７）。さらに、複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成し（Ｓ８）、複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成する（Ｓ９）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ１０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ１１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００５２】
ビードｍの概略形状が円弧形状でないと判定された場合（ＮＯ）、ビードｍの概略形状が直線形状であるか否かを判定する（Ｓ１２）。ビードｍの概略形状が直線形状であると判断された場合（ＹＥＳ）、直線用修正要素１７によって、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する（Ｓ１３）。さらに、複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成し（Ｓ８）、複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成する（Ｓ９）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ１０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ１１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００５３】
ビードｍの概略形状が直線形状でないと判断された場合（ＮＯ）、複数の輪郭点ｐに基づいて輪郭線Ｐを形成し（Ｓ１４）、複数の背骨点ｑに基づいて背骨線Ｑを形成する（Ｓ１５）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ１０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ１１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００５４】
その一方で、ビード領域候補の幅Ｂが、所定の幅閾値ｂより大きいと判別された場合（ＮＯ）、すなわち、ビード領域候補がプラズマ光又はスパッタ粒子であると判別された場合、ビード領域候補のすべてを確認したか否かを判定する（Ｓ１０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ１１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００５５】
図１５のフローチャートを参照して、円弧用修正要素１６によって修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する方法の詳細について説明する。複数の背骨点ｑからビード領域Ｅの長さを均等に分けるように位置する３個以上の代表背骨点ｑ０を抽出する（Ｓ２１）。隣接する代表背骨点ｑ０を結ぶ線分の長手方向中間で当該線分に直交する二等分線Ｄを算出する（Ｓ２２）。複数の二等分線Ｄ同士の交点ｃを算出する（Ｓ２３）。二等分線Ｄの交点ｃを中心として放射状に延びる複数の修正基準線Ｌ’を設定する（Ｓ２４）。ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成する（Ｓ２５）。同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間の中間に修正背骨点ｑ’を形成する（Ｓ２６）。
【００５６】
図１６のフローチャートを参照して、直線用修正要素１７によって修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する方法の詳細について説明する。ビード領域Ｅの延びる方向に直交する複数の修正基準線Ｌ’を設定する（Ｓ３１）。ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成する（Ｓ３２）。同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間に修正背骨点ｑ’を形成する（Ｓ３３）。
【００５７】
次に、画像処理装置３におけるビード形状判定方法を説明する。画像処理装置３のビード形状判定部５において、輪郭線Ｐ及び背骨線Ｑの位置及び形状と、輪郭線Ｐ及び背骨線Ｑ間の関係と、背骨線Ｑに沿った残熱発光の輝度の情報とに基づいて、ビードｍに発生する欠陥を判定する。
【００５８】
以上のように本実施形態によれば、暫定的に定義された背骨点ｑに基づいて認識されたビードｍの概略形状を考慮して算出された修正背骨点ｑ’に基づいて、ビードｍの形状認識の基準となる背骨線Ｑが形成されることとなる。その結果、正確な修正背骨点ｑ’に基づいて背骨線Ｑを正確に形成でき、正確な背骨線Ｑに基づいてビードｍの形状を正確に認識することができる。よって、ビードｍの形状を認識する画像処理の精度を高めることができる。
【００５９】
本実施形態によれば、ビード領域候補の明領域の幅Ｂが所定の幅閾値ｂ以下になっている場合に、輝度境界と基準線Ｌとの交差箇所に輪郭点ｐを形成し、その後のビードｍの形状を認識する画像処理に進むので、所定の幅閾値ｂより大きな幅Ｂの明領域を有するプラズマ光及びスパッタ粒子の影響を取り除くことができる。その結果、ビードｍの接合終端部分ｍ２に加えて、プラズマ光及びスパッタ粒子の影響を受けるビードｍの接合始端部分ｍ１及び接合中間部分ｍ３を正確に認識できる。よって、ビードｍ全体の形状を正確に認識することができ、かつビードｍの形状を認識する画像処理の精度を高めることができる。
【００６０】
［第２実施形態］
本発明の第２実施形態に係る画像処理システムについて以下に説明する。第２実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００６１】
本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ６ｃの代わりに、後述するインジウムガリウムヒ素系の半導体から作製された撮像素子（以下、「ＩｎＧａＡｓ系撮像素子」という）に対応するＩｎＧａＡｓ用ロングパスフィルタが設けられている。ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍ以上の波長範囲で光を透過するように構成されている。本実施形態では、撮像器６ｆが、第１実施形態のＳｉ系撮像素子６ｆ１の代わりに、ＩｎＧａＡｓ系撮像素子を有している。ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲において光に対する感度を有している。ＩｎＧａＡｓ系撮像素子は、撮像器６ｆに送られたモニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、ＩｎＧａＡｓ系撮像素子の撮像面の条件は、第１実施形態におけるＳｉ系撮像素子６ｆ１の撮像面の条件と同様になっている。
【００６２】
ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲について説明する。上述したように、レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。また、レーザ等の発光は、１０６０ｎｍ付近の波長成分を含んでいるので、ＩｎＧａＡｓ系撮像素子に入力される光は、１０６０ｎｍ周辺の波長範囲を避けることが好ましい。
【００６３】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲は、１２００ｎｍ以上に定められている。そのため、ＩｎＧａＡｓ系撮像素子には、１２００ｎｍ以上の波長範囲で光が送られて、ＩｎＧａＡｓ系撮像素子は、入力される光を１２００ｎｍ〜２０００ｎｍの波長範囲で感知することとなる。なお、ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲で光を感知できればよいので、例えば、ＩｎＧａＡｓ用ロングパスフィルタが、１３００ｎｍ、１４００ｎｍ、１５００ｎｍ、１６００ｎｍ、１７００ｎｍ、１８００ｎｍ、又は１９００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００６４】
また、本実施形態の画像処理システム１を用いて溶接領域に形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。
【００６５】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００６６】
［第３実施形態］
本発明の第３実施形態に係る画像処理システムについて以下に説明する。第３実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００６７】
本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ６ｃの代わりに、Ｓｉ用バンドパスフィルタが設けられている。Ｓｉ用バンドパスフィルタは、８００ｎｍ以上かつ１０５０ｎｍ以下の波長範囲で光を透過するように構成されている。
【００６８】
Ｓｉ用バンドパスフィルタを透過する光の波長範囲について説明する。Ｓｉ用バンドパスフィルタを透過する光の波長範囲の下限値は、第１実施形態におけるＳｉ用ロングパスフィルタ６ｃを透過する光の波長範囲の下限値を８００ｎｍとしたことと同様の理由に基づいて、８００ｎｍ以上に定められている。また、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、Ｓｉ用バンドパスフィルタを透過する光の波長範囲の上限値は、１０５０ｎｍに定められている。
【００６９】
本実施形態の画像処理システム１を用いて溶接領域に形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。
【００７０】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００７１】
［第４実施形態］
本発明の第４実施形態に係る画像処理システムについて以下に説明する。第４実施形態は、基本的には、第２実施形態と同様になっている。第２実施形態と同様な要素は、第２実施形態と同様の符号および名称を用いて説明する。ここでは、第２実施形態と異なる構成について説明する。
【００７２】
本実施形態では、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタの代わりに、ＩｎＧａＡｓ用バンドパスフィルタが設けられている。ＩｎＧａＡｓ用バンドパスフィルタは、１２００ｎｍ以上かつ２０００ｎｍ以下の波長範囲で光を透過するように構成されている。
【００７３】
ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲について説明する。ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の下限値は、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲の下限値を１２００ｎｍとしたことと同様の理由に基づいて、１２００ｎｍに定められている。また、長波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は２６００ｎｍとされ、短波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は１７００ｎｍとされている。さらに、短波長高感度タイプのＩｎＧａＡｓ系撮像素子は、そのバンドギャップが緩やかに減少するために、１７００ｎｍ〜２０００ｎｍの範囲においても一定の感度（応答性能）を有している。そのため、長波長高感度タイプ、短波長高感度タイプ等のあらゆるＩｎＧａＡｓ系撮像素子に対応すべく、ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の上限値は２０００ｎｍに定められている。
【００７４】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００７５】
ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【００７６】
例えば、本発明の変形例として、レーザ溶接以外のビーム系接合時に残熱発光が生じている状態の溶接領域Ｊをモニタ部７によって撮影及び取り込んだ画像に基づいて、溶接領域Ｊに形成されるビードｍの形状を認識してもよい。この場合、ビーム系接合は、レーザブレージング、レーザクラッディング、プラズマ溶接、電子ビーム溶接等であるとよい。
【符号の説明】
【００７７】
１  画像処理システム
３  画像処理装置
４  画像処理部
１０  ビード認識手段
１１  ビード判別手段
１２  基準線設定手段
１３  輪郭点形成手段
１４  背骨点形成手段
１５  概略形状判定手段
１６  円弧用修正要素
１７  直線用修正要素
１８  輪郭線形成手段
１９  背骨線形成手段
２０  代表背骨点抽出手段
２１  二等分線算出手段
２２  交点算出手段
２３  円弧用修正基準線設定手段
２４  円弧用修正輪郭点形成手段
２５  円弧用修正背骨点形成手段
２６  直線用修正基準線設定手段
２７  直線用修正輪郭点形成手段
２８  直線用修正背骨点形成手段
Ｍ  溶接部材
Ｊ  溶接領域
ｍ  ビード
ｍ１  接合始端部分（始端部分）
ｍ２  接合終端部分（終端部分）
ｍ３  接合中間部分（中間部分）
Ｌ１  レーザ光
Ｌ２  モニタリング光
θ１，θ２  角度
Ｇ  平均輝度
ｇ１  開始輝度閾値
ｇ２  終了輝度閾値
Ｅ  ビード領域
ｅ  ビード領域点
Ｌ  基準線
Ｌ’  修正基準線
Ｐ  輪郭線
ｐ  輪郭点
ｐ’  修正輪郭点
Ｑ  背骨線
ｑ  背骨点
ｑ０  代表背骨点
ｑ’  修正背骨点
Ｄ  二等分線
ｃ  交点
Ａ１  実線
Ａ２  破線
Ａ３  一点鎖線
Ｓ１〜Ｓ１３，Ｓ２１〜Ｓ２６，Ｓ３１〜Ｓ３３  ステップ
【図１】
2014016304.tif 000007
【図２】
2014016304.tif 000008
【図３】
2014016304.tif 000009
【図４】
2014016304.tif 000010
【図５】
2014016304.tif 000011
【図６】
2014016304.tif 000012
【図７】
2014016304.tif 000013
【図８】
2014016304.tif 000014
【図９】
2014016304.tif 000015
【図１０】
2014016304.tif 000016
【図１１】
2014016304.tif 000017
【図１２】
2014016304.tif 000018
【図１３】
2014016304.tif 000019
【図１４】
2014016304.tif 000020
【図１５】
2014016304.tif 000021
【図１６】
2014016304.tif 000022