(57)【要約】【課題】ビード全体に発生する様々な欠陥を正確に検出できる画像処理方法及び画像処理システムを提供する。【解決手段】ビーム系接合時に残熱発光が生じている溶接部分を撮影かつ取り込んだ画像に基づいて、溶接部分のビードの形状を認識する画像処理方法であって、画像に基づいて、ビードに対応する画像内のビード領域を認識するステップと、ビード領域の外形である輪郭線及びビード領域の幅中心に沿った背骨線を形成し、かつ画像に基づいて背骨線に沿った残熱発光の輝度分布を算出するステップと、輪郭線及び前記背骨線間の関係に基づいて、ビードの接合終端部分の凹状欠陥、及びビードの接合中間部分の凹状欠陥を判定し、かつ残熱発光の輝度分布に基づいて、ビードの接合始端部分の消失欠陥、ビードの分離欠陥、前記ビードの接合中間部分の穴状欠陥を判定するステップとを含む画像処理方法。その方法を用いた画像処理システム。【選択図】図１０
2014014856.tif 000002
【特許請求の範囲】
【請求項１】
ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、
前記画像に基づいて、前記ビードに対応する画像内のビード領域を認識するステップと、
前記ビード領域の外形である輪郭線及び前記ビード領域の幅中心に沿った背骨線を形成し、かつ前記画像に基づいて前記背骨線に沿った残熱発光の輝度分布を算出するステップと、
前記輪郭線及び前記背骨線間の関係に基づいて、前記ビードの接合終端部分の凹状欠陥、及び前記ビードの接合中間部分の凹状欠陥を判定し、かつ前記残熱発光の輝度分布に基づいて、前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビードの接合中間部分の穴状欠陥を判定するステップと
を含む画像処理方法。
【請求項２】
前記ビード領域の接合終端部分の凹状欠陥に関する判定では、
前記ビード領域内の代表点を算出し、
前記輪郭線及び前記背骨線が交差する前記接合終端部分の中心位置を算出し、
前記ビード領域の代表点及び前記接合終端部分の中心位置間における中間点を算出し、
前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、かつ前記ビード領域の接合終端部分の輪郭線に交わる２つの直線を算出し、
前記２つの直線及び前記ビード領域の接合終端部分の輪郭線の交点を算出し、
前記２つの交点を結んだ直線と前記中心位置との関係に基づいて湾曲度を計算し、
前記湾曲度に基づいて前記接合終端部分が凸形状か、又は凹形状かを決定し、かつ
前記接合終端部分が凹形状である場合に、欠陥が発生したと判定する請求項１に記載の画像処理方法。
【請求項３】
前記ビード領域の接合中間部分の凹状欠陥に関する判定では、
前記ビード領域の接合中間部分の凹状欠陥候補を認識し、かつ
前記凹状欠陥候補の図心位置から前記背骨線までの最短距離が前記ビードの幅の半分以下である場合、前記凹状欠陥候補が欠陥であると判定する請求項１又は２に記載の画像処理方法。
【請求項４】
前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビード接合中間部分の穴状欠陥に関する判定では、
前記背骨線に沿った残熱発光の輝度分布にて、前記輝度が所定の消失欠陥閾値以下である場合に、欠陥が発生したと判定する請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記ビードの分離欠陥及び前記ビード接合中間部分の穴状欠陥に関する判定では、
前記背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項６】
前記ビード領域内に前記背骨線に対してビード幅方向両側にそれぞれシフトした追加背骨線を形成し、かつ前記追加背骨線上の残熱発光の輝度分布を算出するステップをさらに含み、
前記追加背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する請求項５に記載の画像処理方法。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理方法を用いる画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビーム系接合時に残熱発光が生じている状態の溶接領域をモニタ部によって撮影かつ取り込んだ画像に基づいて、溶接領域に形成されるビードの形状を認識する画像処理方法に関し、かつその方法を用いた画像処理システムに関する。
【背景技術】
【０００２】
従来より、特許文献１に開示されるように、ビーム系接合中に発光が生じている溶接部分を、カメラ、光センサ等によって撮影し、かつ撮影した溶接部分の画像を取り込み、取り込んだ画像に基づいて、溶接部分のビードの形状を認識する画像処理が行われている。しかしながら、特許文献１の画像処理では、レーザ溶接中に発生するプラズマ光、スパッタ粒子等の影響によって、溶接部分のビードの形状を正確に認識することが難しくなっており、このことが問題になっている。
【０００３】
そこで、特許文献２に開示されるように、プラズマ光、スパッタ粒子等の影響を避けるべく、レーザ溶接直後に金属の発熱が残っている短い時間内にビードの接合終端部分に生じる熱発光（以下、「残熱発光」という）をカメラによって撮影し、かつ撮影した残熱発光の画像を取り込むように構成された画像処理が提案されている。この画像処理は、取り込んだ残熱発光の画像に基づいてビードの接合終端部分の形状を認識するように構成されている。また、この画像処理装置は、取り込んだ画像にて不連続に分離したビードの形状が認識された場合、及びビードの溶接終端に凹形状が認識された場合に、穴欠陥が発生したと判定するように構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−  ４３７４１号公報
【特許文献２】特開２０１２−  ４５６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２の画像処理は、レーザ溶接直後に残熱発光が生じているビードの接合終端部分の形状を正確に認識して、認識されたビードの接合終端部分にて発生する欠陥を正確に判定できる一方で、この画像処理は、ビードの接合始端部分の形状、並びに接合始端部分及び接合終端部分間におけるビードの接合中間部分の形状を正確に認識して、認識したビードの接合始端部分及びビードの接合中間部分にて発生する欠陥を判断できていない。そのため、レーザ溶接のビード全体の形状を正確に認識して、認識したビード全体にて発生する様々な欠陥を正確に検出することが望まれている。
【０００６】
本発明はこのような実状に鑑みてなされたものであって、その目的は、ビード全体に発生する様々な欠陥を正確に検出できる画像処理方法及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
課題を解決するために、本発明の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像に基づいて、前記ビードに対応する画像内のビード領域を認識するステップと、前記ビード領域の外形である輪郭線及び前記ビード領域の幅中心に沿った背骨線を形成し、かつ前記画像に基づいて前記背骨線に沿った残熱発光の輝度分布を算出するステップと、前記輪郭線及び前記背骨線間の関係に基づいて、前記ビードの接合終端部分の凹状欠陥、及び前記ビードの接合中間部分の凹状欠陥を判定し、かつ前記残熱発光の輝度分布に基づいて、前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビードの接合中間部分の穴状欠陥を判定するステップとを含む。
【０００８】
本発明の一態様に係る画像処理方法では、前記ビード領域の接合終端部分の凹状欠陥に関する判定では、前記ビード領域内の代表点を算出し、前記輪郭線及び前記背骨線が交差する前記接合終端部分の中心位置を算出し、前記ビード領域の代表点及び前記接合終端部分の中心位置間における中間点を算出し、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、かつ前記ビード領域の接合終端部分の輪郭線に交わる２つの直線を算出し、前記２つの直線及び前記ビード領域の接合終端部分の輪郭線の交点を算出し、前記２つの交点を結んだ直線と前記中心位置との関係に基づいて湾曲度を計算し、前記湾曲度に基づいて前記接合終端部分が凸形状か、又は凹形状かを決定し、かつ前記接合終端部分が凹形状である場合に、欠陥が発生したと判定する。
【０００９】
本発明の一態様に係る画像処理方法では、前記ビード領域の接合中間部分の凹状欠陥に関する判定では、前記ビード領域の接合中間部分の凹状欠陥候補を認識し、かつ前記凹状欠陥候補の図心位置から前記背骨線までの最短距離が前記ビードの幅の半分以下である場合、前記凹状欠陥候補が欠陥であると判定する。
【００１０】
本発明の一態様に係る画像処理方法では、前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビード接合中間部分の穴状欠陥に関する判定では、前記背骨線に沿った残熱発光の輝度分布にて、前記輝度が所定の消失欠陥閾値以下である場合に、欠陥が発生したと判定する。
【００１１】
本発明の一態様に係る画像処理方法では、前記ビードの分離欠陥及び前記ビード接合中間部分の穴状欠陥に関する判定では、前記背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する。
【００１２】
本発明の一態様に係る画像処理方法では、前記ビード領域内に前記背骨線に対してビード幅方向両側にそれぞれシフトした追加背骨線を形成し、かつ前記追加背骨線上の残熱発光の輝度分布を算出するステップをさらに含み、前記追加背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する。
【００１３】
本発明の一態様に係る画像処理システムは、上述の画像処理方法を用いる。
【発明の効果】
【００１４】
本発明によれば、以下の効果を得ることができる。ビーム系接合時に残熱発光が生じている状態の溶接部分を撮影かつ取り込んだ画像に基づいて、前記溶接部分に形成されるビードの形状を認識する画像処理方法であって、前記画像に基づいて、前記ビードに対応する画像内のビード領域を認識するステップと、前記ビード領域の外形である輪郭線及び前記ビード領域の幅中心に沿った背骨線を形成し、かつ前記画像に基づいて前記背骨線に沿った残熱発光の輝度分布を算出するステップと、前記輪郭線及び前記背骨線間の関係に基づいて、前記ビードの接合終端部分の凹状欠陥、及び前記ビードの接合中間部分の凹状欠陥を判定し、かつ前記残熱発光の輝度分布に基づいて、前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビードの接合中間部分の穴状欠陥を判定するステップとを含む。そのため、ビードの接合終端部分の凹状欠陥、ビードの接合中間部分の凹状欠陥、ビードの接合始端部分の消失欠陥、ビードの分離欠陥、及びビードの接合中間部分の穴状欠陥を正確に検出できる。よって、ビード全体に発生する様々な欠陥を正確に検出できる。
【００１５】
本発明の一態様に係る画像処理方法では、前記ビード領域の接合終端部分の凹状欠陥に関する判定では、前記ビード領域内の代表点を算出し、前記輪郭線及び前記背骨線が交差する前記接合終端部分の中心位置を算出し、前記ビード領域の代表点及び前記接合終端部分の中心位置間における中間点を算出し、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、かつ前記ビード領域の接合終端部分の輪郭線に交わる２つの直線を算出し、前記２つの直線及び前記ビード領域の接合終端部分の輪郭線の交点を算出し、前記２つの交点を結んだ直線と前記中心位置との関係に基づいて湾曲度を計算し、前記湾曲度に基づいて前記接合終端部分が凸形状か、又は凹形状かを決定し、かつ前記接合終端部分が凹形状である場合に、欠陥が発生したと判定する。そのため、ビードの接合終端部分の凹状欠陥を正確に検出できる。
【００１６】
本発明の一態様に係る画像処理方法では、前記ビード領域の接合中間部分の凹状欠陥に関する判定では、前記ビード領域の接合中間部分の凹状欠陥候補を認識し、かつ前記凹状欠陥候補の図心位置から前記背骨線までの最短距離が前記ビードの幅の半分以下である場合、前記凹状欠陥候補が欠陥であると判定する。そのため、ビードの接合中間部分の凹状欠陥を正確に検出できる。
【００１７】
本発明の一態様に係る画像処理方法では、前記ビードの接合始端部分の消失欠陥、前記ビードの分離欠陥、及び前記ビード接合中間部分の穴状欠陥に関する判定では、前記背骨線に沿った残熱発光の輝度分布にて、前記輝度が所定の消失欠陥閾値以下である場合に、欠陥が発生したと判定する。そのため、ビードの接合始端部分の消失欠陥、ビードの分離欠陥、及びビードの接合中間部分の穴状欠陥を正確に検出できる。
【００１８】
本発明の一態様に係る画像処理方法では、前記ビードの分離欠陥及び前記ビード接合中間部分の穴状欠陥に関する判定では、前記背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する。また、本発明の一態様に係る画像処理方法は、前記ビード領域内に前記背骨線に対してビード幅方向両側にそれぞれシフトした追加背骨線を形成し、かつ前記追加背骨線上の残熱発光の輝度分布を算出するステップをさらに含み、前記追加背骨線に沿った前記残熱発光の輝度分布にて、前記輝度が所定の割合で略Ｖ字状に低下する区間が発生した場合、前記区間に欠陥が発生したと判定する。そのため、ビードの分離欠陥、及びビードの接合中間部分の穴部欠陥をさらに正確に判定できる。特に、追加背骨線に沿った残熱発光の輝度分布に基づいて、背骨線からビード幅方向にシフトした穴状欠陥を正確に検出できる。
【００１９】
本発明の一態様に係る画像処理装置は、上述の画像処理方法を用いる。そのため、上述のようにビード全体に発生する様々な欠陥を正確に検出できる。
【図面の簡単な説明】
【００２０】
【図１】溶接領域に形成されるビードを示す模式図である。
【図２】本発明の第１実施形態に係るレーザ溶接画像処理システムを示すブロック図である。
【図３】本発明の第１実施形態における画像取り込み装置のレーザ照射部及びモニタ部を示す模式図である。
【図４】黒体放射の輻射強度と波長との関係を示す図である。
【図５】シリコン系の半導体から作製される撮像素子の相対感度と撮像素子に入力される波長との関係を示す図である。
【図６】本発明の第１実施形態における溶接直後の時間経過と残熱発光の輝度との関係の一例を示す図である。
【図７】本発明の第１実施形態における背骨点及び背骨線を表示した画像の一例を示す模式図である。
【図８】本発明の第１実施形態において、実際のビードに対応するビード領域及びビード領域点を表示した画像の一例を示す図である。
【図９】本発明の第１実施形態における背骨点、背骨線、輪郭点、及び輪郭線を表示した画像の一例を示す模式図である。
【図１０】本発明の第１実施形態における画像処理装置のビード形状判定部を示すブロック図である。
【図１１】ビードの溶接終端部分に発生した凹状欠陥を示す模式図である。
【図１２】ビードの溶接中間部分に発生する凹状欠陥を示す模式図である。
【図１３】ビードの溶接中間部分に発生する分離欠陥を示す模式図である。
【図１４】ビードの溶接中間部分に発生する穴状欠陥を示す模式図である。
【図１５】ビードの溶接始端部分に発生する消失欠陥を示す模式図である。
【図１６】（ａ）本発明の第１実施形態において、正常なビードの溶接終端部分における湾曲度の計算を説明するための模式図である。（ｂ）本発明の第１実施形態において、溶接欠陥を有するビードの溶接終端部分における湾曲度の計算を説明するための模式図である。
【図１７】本発明の第１実施形態における接合中間部分の凹状欠陥の判定を説明するための模式図である。
【図１８】本発明の第１実施形態における追加背骨線を説明するための模式図である。
【図１９】本発明の第１実施形態における背骨線及び追加背骨線に沿った残熱発光の輝度分布の一例を示す図である。
【図２０】本発明の第１実施形態における画像処理方法の概要を説明するフローチャートである。
【図２１】図２０のフローチャートにおける背骨線の事前記録方法を説明するフローチャートである。
【図２２】溶接終端部分の凹状欠陥を判定する方法を説明するフローチャートである。
【図２３】溶接中間部分の凹状欠陥を判定する方法を説明するフローチャートである。
【図２４】溶接始端部分の消失欠陥、溶接中間部分の分離欠陥、及び穴状欠陥を判定する方法を説明するフローチャートである。
【図２５】本発明の第２実施形態における画像処理部を示すブロック図である。
【図２６】本発明の第２実施形態において、円弧形状のビードに対応して、基準線上に形成された輪郭点及び背骨点を表示した画像の一例を示す模式図である。
【図２７】本発明の第２実施形態において、直線形状のビードに対応して、基準線上に形成された輪郭点及び背骨点を表示した画像の一例を示す模式図である。
【図２８】本発明の第２実施形態において、ビードの概略形状が円弧形状である場合に、代表背骨点、二等分線、及び交点を形成した画像の一例を示す模式図である。
【図２９】本発明の第２実施形態において、ビードの概略形状が円弧形状である場合に、修正基準線、修正輪郭点、修正背骨点、輪郭線、及び背骨線を形成した画像の一例を示す模式図である。
【図３０】本発明の第２実施形態において、ビードの概略形状が直線形状である場合に、修正基準線、修正輪郭点、修正背骨点、輪郭線、及び背骨線を形成した画像の一例を示す模式図である。
【図３１】本発明の第２実施形態において、取り込まれた画像の画像処理方法の概要を示すフローチャートである。
【図３２】図３１のフローチャートにおける円弧用修正要素の画像処理方法を説明するフローチャートである。
【図３３】図３１のフローチャートにおける直線用修正要素の画像処理方法を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
［第１実施形態］
本発明の第１実施形態に係る画像処理システムについて説明する。
【００２２】
最初に、図１を参照して、画像処理を実施する対象である溶接部材Ｍの溶接領域Ｊに形成されるビードｍについて説明する。略円弧状に形成されたビードｍは、レーザ溶接の開始地点に形成される接合始端部分（以下、「始端部分」という）ｍ１と、レーザ溶接の溶接終了地点に形成される接合終端部分（以下、「終端部分」という）ｍ２と、始端部分ｍ１及び終端部分ｍ２間に形成される接合中間部分（以下、「中間部分」という）ｍ３とを有している。本実施形態では、一例として、ビードｍは略円弧状に形成されているが、直線状、Ｌ字状、波状等の他の形状であってもよい。
【００２３】
図２を参照すると、画像処理システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザ光Ｌ１を溶接部材Ｍの溶接領域Ｊに照射可能とし、レーザ溶接時の残熱発光が生じている溶接領域Ｊを撮影し、かつ撮影した溶接領域Ｊの画像を取り込むように構成されている。また、画像処理システム１は、画像取り込み装置２に接続される画像処理装置３を有している。画像処理装置３は画像処理部４を有しており、画像処理部４は、画像取り込み装置２により取り込んだ溶接領域Ｊの画像に基づいてビードｍの形状を認識するようになっている。画像処理装置３はビード形状判定部５を有しており、ビード形状判定部５は、画像処理部４により認識されたビードｍの形状に基づいて、ビードｍに発生する欠陥を判定するようになっている。
【００２４】
ここで、図２及び図３を参照して、画像取り込み装置２の詳細を説明する。図２を参照すると、画像取り込み装置２はレーザ照射部６を有しており、このレーザ照射部６は、溶接部材Ｍの溶接領域Ｊに溶接用のレーザ光Ｌ１を照射可能とするように構成されている。画像取り込み装置２はモニタ部７を有しており、このモニタ部７はレーザを照射した溶接領域Ｊの画像を連続的に撮影するように構成されている。画像取り込み装置２は記憶部８を有しており、この記憶部８はモニタ部７により撮影した画像を連続的に記憶するように構成されている。画像取り込み装置２は画像取り込み部９を有しており、この画像取り込み部９は、記憶部８に記憶された画像を取り込むように構成されている。
【００２５】
図３を参照すると、レーザ照射部６はレーザ発振器６ａを有しており、レーザ発振器６ａはレーザ光Ｌ１を発射可能とするように構成されている。レーザ照射部６は略平板状のハーフミラー６ｂを有しており、ハーフミラー６ｂは、レーザ発振器６ａから発射されたレーザ光Ｌ１の光路上に配置されている。このハーフミラー６ｂの表面６ｂ１及び裏面６ｂ２は、レーザ発振器６ａから発射されるレーザ光Ｌ１の光路に対して、所定の角度θ１傾斜している。一例として、所定の角度θ１は４５度であると好ましい。レーザ照射部６は溶接用集光レンズ６ｃを有しており、溶接用集光レンズ６ｃは、ハーフミラー６ｂを通過したレーザ光Ｌ１の光路上に配置されている。また、溶接用集光レンズ６ｃは、レーザ光Ｌ１を溶接部材Ｍ上に集光するように構成されている。このようなレーザ照射部６においては、レーザ発振器６ａから発射されたレーザ光Ｌ１が、ハーフミラー６ｂを通過し、かつ溶接用集光レンズ６ｃによって集光された後に、溶接部材Ｍに照射されることとなる。また、溶接部材Ｍに照射されたレーザ光Ｌ１の一部は反射して、この反射した光（以下、「モニタリング光」という）Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂの裏面６ｂ２に反射することによって角度を変えられた後に、モニタ部７に送られることとなる。
【００２６】
モニタ部７は略平板状のミラー７ａを有しており、ミラー７ａは、レーザ照射部６のハーフミラー６ｃによって角度を変えられたモニタリング光Ｌ２の光路上に配置され、ミラー７ａの反射面７ａ１は、このモニタリング光Ｌ２の光路に対して、所定の角度θ２傾斜している。モニタ部７は倍率調整レンズ７ｂを有しており、倍率調整レンズ７ｂは、撮影倍率を調整するように構成されている。倍率調整レンズ７ｂは、ミラー７ａにより反射されたモニタリング光Ｌ２の光路上に配置されている。モニタ部７は、後述するシリコン系の半導体から作製された撮像素子（以下、「Ｓｉ系撮像素子」という）７ｆに対応するロングパスフィルタ（以下、「Ｓｉ用ロングパスフィルタ」という）７ｃを有しており、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍ以上の波長範囲で光を透過するように構成されている。このＳｉ用ロングパスフィルタ７ｃは、倍率調整レンズ７ｂを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７はＮＤフィルタ７ｄを有しており、ＮＤフィルタ７ｄは、それを通過する光の量を減少するように構成されている。ＮＤフィルタ７ｄは、Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７は撮像用集光レンズ７ｅを有しており、撮像用集光レンズ７ｅは、ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２の光路上に配置されている。また、撮像用集光レンズ７ｅは、モニタリング光Ｌ２を、後述するＳｉ系撮像素子７ｆの撮像面上に集光するように構成されている。モニタ部７はＳｉ系撮像素子７ｆを有しており、Ｓｉ系撮像素子７ｆは、モニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、Ｓｉ系撮像素子７ｆは、２００ｎｍ〜１１００ｎｍの波長範囲において光に対する感度を有している。モニタ部７はアンプ７ｇを有しており、アンプ７ｇは、Ｓｉ系撮像素子７ｆから送られるアナログ電気信号を増幅するように構成されている。モニタ部７はＡ／Ｄ変換器７ｈを有しており、Ａ／Ｄ変換器７ｈはアンプ７ｇにより増幅されたアナログ電気信号をデジタル電気信号に変換するように構成されている。Ａ／Ｄ変換器７ｈにより変換されたデジタル電気信号は記憶部８に送られることとなる。なお、モニタ部７のフレームレートは、５０Ｈｚ以上かつ１０００Ｈｚ以下になっている。
【００２７】
Ｓｉ系撮像素子７ｆの撮像面の条件について説明する。Ｓｉ系撮像素子７ｆの撮像面がビードｍ全体を配置した領域に対して著しく大きい場合、画像上で表示されるビードｍが少ないピクセル数によって表示されこととなる。この場合、ビードｍの形状を正確に認識できなくなる。そのため、Ｓｉ系撮像素子７ｆの撮像面が略正方形状に形成されていると想定した場合、撮像面の一辺の長さをｄとし、溶接用集光レンズ６ｃの焦点距離をｆ１とし、撮像用集光レンズ７ｅの焦点距離をｆ２とし、倍率調整レンズ７ｂの倍率をｓとし、ビードｍ全体を配置した領域の最大長さをｌとすると、Ｓｉ系撮像素子７ｆの撮像面の一辺の長さは、次の式（１）の条件を満たすと好ましい。
【００２８】
【数１】
2014014856.tif 000003
【００２９】
Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲について説明する。レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度と波長との関係は、黒体放射の式を用いて絶対温度を１２００Ｋ、１０００Ｋ、及び８００Ｋとして計算した場合、図４に示したグラフのようになる。図４のグラフでは、絶対温度を１２００Ｋとした場合の計算結果を実線Ａ１で示し、絶対温度を１０００Ｋとした場合の計算結果を破線Ａ２で示し、かつ絶対温度を８００Ｋとした場合の計算結果を一点鎖線Ａ３で示している。図４のグラフを参照すると、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が、長波長領域で高くなることが確認できる。
【００３０】
また、Ｓｉ系撮像素子７ｆの相対感度とＳｉ系撮像素子７ｆに入力される光の波長との関係は、典型的には、図５に示すようになっている。図５に示すように、Ｓｉ系撮像素子７ｆの感度は、特に、６００ｎｍ以上の波長範囲で低下している。そのため、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲において、低い強度の光を感知し難く、かつ高い強度の光を感知する傾向にある。
【００３１】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、波長のバラツキとを考慮して、Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲は、８００ｎｍ以上に定められている。そのため、Ｓｉ系撮像素子７ｆには、８００ｎｍ以上の波長範囲で光が送られて、Ｓｉ系撮像素子７ｆは、入力される光を８００ｎｍ〜１１００ｎｍの波長範囲で感知することとなる。このような波長範囲では、Ｓｉ系撮像素子７ｆは、低い輻射強度を有する遷移発光の成分を含んだプラズマ光を感知し難い一方で、高い輻射強度を有する黒体放射による発光の成分を多く含む残熱発光を感知し易くなっている。なお、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲で光を感知できればよいので、例えば、Ｓｉ用ロングパスフィルタ７ｃが、８００ｎｍ、９００ｎｍ、又は１０００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００３２】
また、モニタ部７のフレームレートの範囲について説明する。溶接開始付近では発生するプラズマが大きな領域を占めているので、溶接を既に終えているビードｍを観察できないことが多い。そのため、溶接開始から一定時間経過後に、記憶部８に画像を蓄積することが有効である。また、ビードｍ全体を画像処理の対象とするためには、連続して取得した複数の画像の一部を用いればよいので、このような複数の画像の一部を取得すればよい。また、画像処理に用いる画像は、完全に連続している必要はない。ビードｍの終端部分ｍ２においては、高速で複数の画像を撮影しない場合に、金属が冷えるので、画像の撮影は高サンプリングにする必要がある。その一方で、溶接開始から溶接終了までの間の途中観察において、高サンプリングで画像の撮影をした場合、ほとんど変化がない複数の画像が取得されることとなる。このような複数の画像において同様の特性を計算することは無駄になるので、モニタ部７のフレームレートは、計算処理時間の短縮、記憶部８の容量の節約等を考慮して定めることが好ましい。そこで、フレームレートの上限値が高くなるに連れて、撮影される画像の数量が増加することによって、ビードｍの形状を認識する精度が高くなる一方で、１秒間に撮影される画像の数量が１０００フレームより大きい場合（すなわち、フレームレートが１０００Ｈｚより大きい場合）、画像処理の計算負荷が増加することとなることを考慮して、フレームレートの上限値は１０００Ｈｚに定められている。
【００３３】
その一方で、フレームレートの下限値が低い場合、１つの画像を撮影するタイミングから次の画像を撮影するタイミングまでの間に、撮影しようとするビードｍの溶接領域Ｊが移動して、モニタ部７により捕らえられた撮影範囲から外れるおそれがある。この場合、ビードｍを正確に撮影することができなくなる。そこで、フレームレートの下限値は、次のような条件を満たす必要がある。
【００３４】
フレームレートをｆとし、溶接に用いられるレーザ光Ｌ１の移動速度をＶｍとし、かつ撮影範囲の中心から撮影範囲内と撮影範囲外との間の境界までの最短距離をＲｍとした場合、フレームレートは、次の式（２）の条件を満たすと好ましい。
【００３５】
【数２】
2014014856.tif 000004
【００３６】
典型的な条件において、Ｖｍは０．１３３ｍ／ｓｅｃ（８ｍ／ｍｉｎ）になり、かつＲｍは０．００２ｍ（２ｍｍ）になるので、式（２）よりｆを約６７Ｈｚより大きくする必要がある。さらに、レーザ光Ｌ１の移動速度のバラツキを考慮して、フレームレートの下限値は５０Ｈｚに定められている。
【００３７】
図６を参照すると、画像取り込み部９は、溶接終了直後から所定の時間内に生じる残熱発光の画像を取り込むように構成されている。具体的には、画像取り込み部９は、画像の平均輝度Ｇが所定の取り込み開始（検査開始）輝度閾値ｇ１以下である場合に、画像の取り込みを開始し、予め設定された枚数の画像の撮影を終了した場合に、又は画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。
【００３８】
ここで、画像取り込み装置２の好ましい形態の一例を説明する。残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、溶接終了直後から約２０ｍｓ間に生じる光であると好ましい。この場合、モニタ部７には、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラが用いられるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部７には、高ダイナミックレンジカメラが用いられると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部９では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。
【００３９】
次に、図２、及び図７〜図９を参照して、画像処理装置３の画像処理部４の詳細を説明する。図２を参照すると、画像処理部４は背骨線記録手段１０を有しており、背骨線記録手段１０は、図７に示すように、溶接部材Ｍに照射されるレーザ光Ｌ１の中心の予め定められた移動経路に基づいて、移動経路上で所定の間隔を空けて定められる（Ｎ＋１）個の背骨点ｑと、隣接する背骨点ｑ同士を直線で結ぶことによって定義されるＮ本の背骨線Ｑとを事前に記録するようになっている。図２を参照すると、画像処理部４はビード認識手段１１を有しており、ビード認識手段１１は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するようになっている。画像処理部４はビード判別手段１２を有しており、ビード判別手段１２は、複数のビード領域候補が認識された場合に、図８に示すように、複数のビード領域候補から実際のビードに対応するビード領域Ｅを判別するようになっている。なお、ビード領域Ｅは、ビードｍの始端部分ｍ１に対応する始端部分Ｅ１、ビードｍの終端部分ｍ２に対応する中間部分Ｅ２、及びビードｍの中間部分ｍ３に対応する終端部分Ｅ３を有している。再び図２を参照すると、画像処理部４は輪郭点選択手段１３を有しており、輪郭点選択手段１３は、図９に示すように、実際のビードｍの輪郭線上に位置するビード領域点ｅを輪郭点ｐとして選択するようになっている。画像処理部４は輪郭線形成手段１４を有しており、輪郭線形成手段１４は、図９に示すように、複数の輪郭点ｐに基づいて輪郭線Ｐを形成するようになっている。
【００４０】
図７を参照して、背骨線記録手段１０の詳細について説明する。背骨線記録手段１０では、画像取り込み部９に取り込まれた各画像において、レーザ光Ｌ１の中心の予め定められた移動経路上に（Ｎ＋１）個（Ｎ＝１，２，３，・・・）の背骨点ｑを形成し、かつ隣接する背骨点ｑ同士を直線で結ぶことによってＮ本の背骨線Ｑを定義するようになっている。レーザ光Ｌ１の中心の移動軌跡は、ビード領域Ｅの幅中心に沿った線に一致する傾向にあるので、この背骨線Ｑは、ビード領域Ｅの幅中心に沿った線と想定することができる。
【００４１】
ここで、図９を参照すると、背骨線Ｑは、各背骨点ｑの座標を（ＸＪ，ＹＪ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）と認識した場合に、下記式（３）によって定義される。
【００４２】
【数３】
2014014856.tif 000005
【００４３】
式（３）のＡＸＪ、ＢＸＪ、ＡＹＪ、ＢＹＪ、及びｔＪは、それぞれ下記式（４）〜式（８）によって定義される。
【数４】
2014014856.tif 000006
【００４４】
ビード認識手段１１の詳細について説明する。ビード認識手段１１によって認識されるビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きい領域となっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別可能とするように設定されている。なお、このビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。
【００４５】
ビード判別手段１２の詳細について説明する。ビード判別手段１２は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択するようになっている。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に判別されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別手段１２は、複数のビード領域候補が時間を前後して取り込んだ画像にて移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するようになっている。
【００４６】
図８及び図９を参照して、輪郭点選択手段１３の詳細について説明する。輪郭点選択手段１３は、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界に位置するビード領域点ｅを輪郭点ｐとして選択するようになっている。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きい明領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さい暗領域との間に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｈは、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって設定されているとよい。
【００４７】
図９を参照して、輪郭線形成手段１４の詳細について説明する。輪郭線形成手段１４は、フィッティング関数ｆｎ１を用いて、複数の輪郭点ｐに基づく輪郭線Ｐを形成する。一例として、互いに直角に交差するＸ軸及びＹ軸を定めた場合、フィッティング関数ｆｎ１は、Ｙ＝ａＸ２＋ｂＸ＋ｃ、又はＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’であるとよく、これらの係数ａ、ｂ及びｃ、又は係数ａ’、ｂ’及びｃ’は、フィッティング関数ｆ１と複数の輪郭点ｐとの距離の二乗和を最小とするように定められるとよい（最小二乗法）。さらに、フィッティング関数ｆｎ１については、Ｙ＝ａＸ２＋ｂＸ＋ｃ、及びＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’のそれぞれの計算式に基づいて計算し、これらの内でフィッティング誤差が小さい方の計算式を選択し、この選択した計算式を用いて輪郭線Ｐを形成するとよい。なお、フィッティング関数ｆｎ１は、３次関数、４次関数等の多項式関数、指数関数、対数関数等であってもよい。また、フィッティング関数ｆｎ１は、輪郭点ｐに基づいて輪郭線Ｐを形成できれば、その他のフィッティングに用いられる関数であってもよい。例えば、フィッティング関数ｆｎ１は、背骨点ｑに基づく背骨線Ｑと同様の折れ線によって定義されてもよい。
【００４８】
次に、図１０〜図１９を参照して、画像処理装置３のビード形状判定部５の詳細を説明する。ビード形状判定部５は、図１１に示すようにビードｍの終端部分ｍ２に発生する凹状欠陥ｍｆ１と、図１２に示すようにビードｍの中間部分ｍ３に発生する凹状欠陥ｍｆ２と、図１３に示すようにビードｍの始端部分ｍ１が消失する消失欠陥ｍｆ３と、図１４に示すようにビードｍが分離する分離欠陥ｍｆ４と、図１５に示すようにビードｍの中間部分に発生する穴状欠陥ｍｆ５とを判定するようになっている。
【００４９】
図１０を参照すると、ビード形状判定部５は終端欠陥判定要素１５を有しており、終端欠陥判定要素１５は、ビードｍの終端部分ｍ２の凹状欠陥ｍｆ１を判定するようになっている。ビード形状判定部５は中間欠陥判定要素１６を有しており、中間欠陥判定要素１６は、ビードｍの中間部分ｍ３の凹状欠陥ｍｆ２を判定するようになっている。ビード形状判定部５は輝度欠陥判定要素１７を有しており、輝度欠陥判定要素１７は、消失欠陥ｍｆ３、分離欠陥ｍｆ４、及び穴状欠陥ｍｆ５を判定するようになっている。
【００５０】
図１０、図１６（ａ）、及び図１６（ｂ）を参照して、終端欠陥判定要素１５の詳細について説明する。図１０を参照すると、終端欠陥判定要素１５は、代表点形成手段１８を有しており、代表点形成手段１８は、図１６（ａ）及び図１６（ｂ）に示すように、複数の背骨点ｑの平均位置である代表中間点ｑ１を算出するようになっている。この代表中間点ｑ１のＸ座標は、複数の背骨点ｑのＸ座標平均値となっており、代表中間点ｑ１のＹ座標は、複数の背骨点ｑのＹ座標平均値となっている。図１０を参照すると、終端欠陥判定要素１５は終端点形成手段１９を有しており、終端点形成手段１９は、図１６（ａ）及び図１６（ｂ）に示すように、ビード領域Ｅの終端部分Ｅ２にて輪郭線Ｐと背骨線Ｑとが交差する点である終端中間点ｑ２を形成するようになっている。図１０を参照すると、終端欠陥判定要素１５は副代表点形成手段２０を有しており、副代表点形成手段２０は、図１６（ａ）及び図１６（ｂ）に示すように、代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成するようになっている。図１０を参照すると、終端欠陥判定要素１５は直線形成手段２１を有しており、直線形成手段２１は、図１６（ａ）及び図１６（ｂ）に示すように、一対の直線Ｕ，Ｖを形成するようになっており、一対の直線Ｕ，Ｖは、終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線Ｒに対して垂直な方向に距離ｄ１の間隔を空けて、かつ直線Ｒに対して平行に配置されている。一例として、距離ｄ１は、ビードｍの幅の半分以下であるとよい。この場合、ビードｍの幅は、ビード領域Ｅ、及び／又はこのビード領域Ｅ内の複数のビード領域点ｅと、ビード領域Ｅ及び／又はビード領域点ｅから計算されたアスペクト比とに基づいて計算された代表幅であるとよい。図１０を参照すると、終端欠陥判定要素１５は境界点形成手段２２を有しており、境界点形成手段２２は、図１６（ａ）及び図１６（ｂ）に示すように、ビード領域Ｅの終端部分Ｅ２にて直線Ｕ，Ｖと輪郭線Ｐとがそれぞれ交差する点である境界点ｕ，ｖを形成するようになっている。終端欠陥判定要素１５は湾曲度計算手段２３を有しており、湾曲度計算手段２３は、後述する湾曲度Ｗを計算するようになっている。終端欠陥判定要素１５は湾曲度判定手段２４を有しており、湾曲度判定手段２４は、湾曲度Ｗに基づいてビード領域Ｅの終端部分Ｅ２の凹状欠陥を判定するようになっている。
【００５１】
図１６（ａ）及び図１６（ｂ）を参照して、湾曲度計算手段２３及び湾曲度判定手段２４の詳細について説明する。湾曲度計算手段２３は、直線ＵＶと終端中間点ｑ２との距離を湾曲度Ｗとして計算するようになっている。この湾曲度Ｗは、図１６（ａ）に示すように、境界点ｕ，ｖを結ぶ直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３と反対側に位置する場合、プラスの値であると認識される。その一方で、湾曲度Ｗは、図１６（ｂ）に示すように、直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３側に位置する場合、マイナスの値であると認識される。湾曲度Ｗがプラスの値である場合、図１６（ａ）に示すように、ビード領域Ｅの終端部分Ｅ２は凸形状になっている。その一方で、湾曲度Ｗの値がマイナスである場合、図１６（ｂ）に示すように、ビード領域Ｅの終端部分Ｅ２は凹形状になっている。湾曲度判定手段２４においては、ビード領域Ｅの終端部分Ｅ２にて凹状欠陥ｍｆ１の有無を判定するための湾曲度閾値ｗが設定されており、湾曲度Ｗが湾曲度閾値ｗ以上である場合、ビード領域Ｅの終端部分Ｅ２に相当するビードｍの終端部分ｍ２は正常と判定される。その一方で、湾曲度判定手段２４では、湾曲度Ｗが湾曲度閾値ｗ以下である場合、ビード領域Ｅの終端部分Ｅ２に相当するビードｍの終端部分ｍ２には凹状欠陥ｍｆ１が発生していると判定される。一例として、湾曲度閾値ｗは０であると好ましい。
【００５２】
図１０及び図１７を参照して、中間欠陥判定要素１６の詳細について説明する。図１０を参照すると、中間欠陥判定要素１６は欠陥候補認識手段２５を有しており、欠陥候補認識手段２５は、図１７に示すように、ビードｍの中間部分ｍ３に発生した凹状部分を凹状欠陥候補ｍｆ２’と認識するようになっている。図１０を参照すると、中間欠陥判定要素１６は距離計算手段２６を有しており、距離計算手段２６は、図１７に示すように、凹状欠陥候補ｍｆ２’の図心ｃｇの位置から背骨線Ｑまでの最短距離ｄ２を計算するようになっている。図１０を参照すると、中間欠陥判定要素１６は距離判定手段２７を有しており、距離判定手段２７は、図１７に示すように、最短距離ｄ２がビードｍの幅の半分以下である場合に、凹状欠陥候補ｍｆ２’が凹状欠陥ｍｆ２に相当すると判定するようになっている。
【００５３】
図１０、図１８、及び図１９を参照して、輝度欠陥判定要素１７の詳細について説明する。図１０を参照すると、輝度欠陥判定要素１７は追加背骨線形成手段２８を有しており、追加背骨線形成手段２８は、図１８に示すように、ビード領域Ｅ内に背骨線Ｑに対してビード幅方向両側にそれぞれシフトした追加背骨線Ｑ’を形成するようになっている。追加背骨線Ｑ’は、背骨線Ｑに対して距離ｄ３シフトしており、一例として、この距離ｄ３は、ビードｍの幅の１／４であると好ましい。また、図１８では、一例として、ビードｍの中間部分ｍ３の穴状欠陥ｍｆ５に相当するビード領域Ｅの中間部分Ｅ３の穴状欠陥候補ｍｆ３’が示されている。再び図１０を参照すると、輝度欠陥判定要素１７は輝度分布認識手段２９を有しており、輝度分布認識手段２９は、図１９に示すように、取り込んだ画像に基づいて背骨線Ｑ及び追加背骨線Ｑ’に沿った残熱発光の輝度分布を認識するようになっている。図１０を参照すると、輝度欠陥判定要素１７は輝度下限判定手段３０を有しており、輝度下限判定手段３０は、平均輝度Ｇが所定の消失輝度閾値ｇ３以下になった場合に、消失欠陥ｍｆ３、分離欠陥ｍｆ４、又は穴状欠陥ｍｆ５が発生したと判定するようになっている。一例として、現時点で多数の実験等により確認された現象において、残熱発光の反応がない状態では平均輝度が撮影時に発生した最大輝度の約１０％以下になる傾向を考慮して、消失輝度閾値ｇ３が、撮影時に発生する最大輝度の１０％以下であると好ましく、特に、撮影時に発生する最大輝度は、実験等で確認することによって予め定められているとよい。輝度欠陥判定要素１７は輝度低下判定手段３１を有しており、輝度低下判定手段３１は、図１９に示すように、背骨線Ｑ及び追加背骨線Ｑ’に沿った残熱発光の輝度分布において平均輝度Ｇが略Ｖ字状に低下する区間（以下、「Ｖ字状低下区間」という）ｚが発生した場合に、分離欠陥ｍｆ４又は穴状欠陥ｍｆ５が発生したと判定するようになっている。Ｖ字状低下区間ｚについては、一例として、略Ｖ字形状の最上端の平均輝度をＧ１とし、かつ略Ｖ字形状の最下端の平均輝度をＧ２とした場合、輝度低下率が（Ｇ１−Ｇ２）／Ｇ１によって計算され、この輝度低下率は、５％より大きく、かつ１００％より小さくなっているとよく、さらに精度を高めるためには、輝度低下率は、１０％より大きく、かつ１００％より小さくなっていると好ましい。なお、輝度低下率の下限値は、現時点で多数の実験等により確認された現象において、平均輝度Ｇのバラツキの範囲が５〜１０％であることを考慮して定められている。また、輝度低下判定手段３１は、発生したＶ字状低下区間ｚが背骨線Ｑ及び追加背骨線Ｑ’すべての同一区間内に位置する場合、分離欠陥ｍｆ４が発生したと判定する一方で、発生したＶ字状低下区間ｚが背骨線Ｑ及び追加背骨線Ｑ’すべての同一区間内に位置しない場合、穴状欠陥ｍｆ５が発生したと判定するようになっているとよい。
【００５４】
ここで、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法を説明する。最初に、画像取り込み装置２における画像取り込み方法について説明する。画像取り込み装置２のレーザ照射部６において、レーザ発振器６ａがレーザ光Ｌ１を発射する。レーザ発振器６ａから発射されたレーザ光Ｌ１は、ハーフミラー６ｂを通過し、かつ溶接用集光ミラー６ｃによって集光された後に、溶接部材Ｍの溶接領域Ｊに照射される。その後、溶接部材Ｍの溶接領域Ｊに照射されたレーザ光Ｌ１によりビードｍを形成した部分から残熱発光が出射してモニタリング光Ｌ２となる。このモニタリング光Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られる。
【００５５】
画像取り込み装置２のモニタ部７において、レーザ照射部６から送られたモニタリング光Ｌ２は、ミラー７ａによって角度を変えられた後に、倍率調整レンズ７ｂに送られる。モニタリング光Ｌ２が倍率調整レンズ６ｂを通過する際、その倍率が調整される。倍率調整レンズ７ｂにより倍率調整されたモニタリング光Ｌ２は、Ｓｉ用ロングパスフィルタ７ｃに送られる。Ｓｉ用ロングパスフィルタ７ｃにおいて、モニタリング光Ｌ２の８００ｎｍより小さな波長成分が遮断され、かつモニタリング光Ｌ２の８００ｎｍより大きな波長成分がＳｉ用ロングパスフィルタ７ｃを透過する。Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２は、ＮＤフィルタ７ｄに送られる。ＮＤフィルタ７ｄにおいて、モニタリング光Ｌ２の光の量が、画像処理装置３の画像処理部４によってビードｍの形状を明確に認識可能とするように減少する。ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２は、撮像用集光レンズ７ｅに送られる。撮像用集光レンズ７ｅにおいて、モニタリング光Ｌ２が集光される。撮影用集光レンズ７ｅにより集光されたモニタリング光Ｌ２は、Ｓｉ系撮像素子７ｆに照射される。Ｓｉ系撮像素子７ｆにおいて、モニタリング光Ｌ２における８００ｎｍ〜１１００ｎｍの波長範囲の成分が感知され、感知されたモニタリング光Ｌ２がアナログ電気信号に変換され、このアナログ電気信号はアンプ７ｇに送られる。アンプ７ｇにおいて、アナログ電気信号は増幅され、増幅されたアナログ電気信号はＡ／Ｄ変換器７ｈに送られる。Ａ／Ｄ変換器７ｈにおいて、アナログ電気信号はデジタル電気信号に変換され、このデジタル電気信号は記憶部８に送られる。記憶部８において、デジタル電気信号は１つの画像として記憶される。このようにＳｉ系撮像素子７ｆにモニタリング光Ｌ２を照射し、Ｓｉ系撮像素子７ｆによりモニタリング光Ｌ２をアナログ電気信号に変換し、Ａ／Ｄ変換器７ｈによりアナログ電気信号をデジタル電気信号に変換し、かつこのデジタル電気信号を１つの画像として記憶する動作は、５０Ｈｚより大きくかつ１０００Ｈｚより小さなフレームレートに基づいて連続的に実施される。さらに、記憶部８に記憶された画像は画像取り込み部９に取り込まれる。
【００５６】
次に、図２０のフローチャートを参照して、画像処理装置３の画像処理部４における画像処理方法の概要を説明する。溶接部材Ｍに照射されるレーザ光Ｌ１の中心の予め定められた移動経路上で所定の間隔を空けた位置に対応して（Ｎ＋１）個の背骨点ｑを設定し、隣接する背骨点ｑ同士を直線で結ぶことによってＮ本の背骨線Ｑを定義し、かつ背骨点ｑ及び背骨線Ｑに関する情報を記録する（Ｓ１）。画像取り込み装置２の画像取り込み部９に取り込んだ画像に基づいて、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっているビード領域候補を認識し、複数のビード領域候補が認識された場合に、複数のビード領域候補の１つを読み出す（Ｓ２）。読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。
【００５７】
ここで、ビード領域候補がビードｍに相当するビード領域Ｅであると判別された場合（ＹＥＳ）、ビード領域Ｅの輪郭線上に位置する輪郭点ｐを選択し（Ｓ４）、複数の輪郭点ｐに基づく輪郭線Ｐを形成する（Ｓ５）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ７）、読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。
【００５８】
その一方で、ビード領域候補がビードｍに相当するビード領域Ｅでないと判別された場合（ＮＯ）、すなわち、ビード領域候補がスパッタ粒子であると判別された場合、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ７）、読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。
【００５９】
図２１のフローチャートを参照して、背骨線記録手段１０における背骨点ｑ及び背骨線Ｑの記録方法の詳細について説明する。画像取り込み部９に取り込まれた複数枚の画像のうちｉ番目の画像（ｉ＝１，２，３，・・・）を読み出す（Ｓ１１）。読み出された画像において、（Ｎ＋１）個の背骨点ｑを設定する（Ｓ１２）。上述の式（８）を用いて、背骨線Ｑ上の節点を表す各背骨点ｑの座標（ＸＪ，ＹＪ）に基づいて、節点を示すための変数ｔＪを算出する（Ｓ１３）。上述の式（６）を用いてＡＸＪ、ＢＸＪ、ＡＹＪ、及びＢＹＪを算出する（Ｓ１４）。ｉ番目の画像におけるＡＸＪ、ＢＸＪ、ＡＹＪ、ＢＹＪ、及びＮのパラメータをテキストデータとして記録する（Ｓ１５）。画像取り込み部９に取り込まれた複数枚の画像すべてに対して処理をしたか否かを判定する（Ｓ１６）。複数枚の画像すべてにおける上述のパラメータがテキストデータとして記録された場合（ＹＥＳ）、背骨点ｑ及び背骨線Ｑに関連する情報の記録作業を終了する。複数枚の画像すべてにおける上述のパラメータがテキストデータとして記録されていない場合（ＮＯ）、ｉ＋１番目の画像を読み出し（Ｓ１７）、この読み出された画像において、（Ｎ＋１）個の背骨点ｑを設定する（Ｓ１２）。このような処理を、１番目の画像から順に繰り返す。
【００６０】
次に、図２２〜図２４のフローチャートを参照して、画像処理装置３のビード形状判定部５におけるビード欠陥判定方法を説明する。
図２２のフローチャートを参照して、ビードｍの終端部分ｍ２の凹状欠陥ｍｆ１を判定する方法について説明する。
複数の背骨点ｑの平均位置である代表中間点ｑ１を形成する（Ｓ２１）。ビード領域Ｅの終端部分Ｅ２における輪郭線Ｐと背骨線Ｑとの交点である終端中間点ｑ２を形成する（Ｓ２２）。代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成する（Ｓ２３）。終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線Ｒに対して垂直な方向に距離ｄ１の間隔を空けて、かつ直線Ｒに対して平行に配置される一対の直線Ｕ，Ｖを形成する（Ｓ２４）。終端部分ｍ２にて直線Ｕ，Ｖと輪郭線Ｐとが交差する点である境界点ｕ，ｖをそれぞれ算出する（Ｓ２５）。２つの境界点ｕ，ｖを結んだ直線ＵＶを基準として湾曲度Ｗを計算する（Ｓ２６）。湾曲度Ｗは、２つの境界点ｕ，ｖを結んだ直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３と反対側に位置する場合、プラスの値であると認識される一方で、湾曲度Ｗは、直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３側に位置する場合、マイナスの値であると認識される。終端部分ｍ２の湾曲度Ｗが湾曲度閾値ｗ以下であるか否かを判定する（Ｓ２７）。湾曲度Ｗが湾曲度閾値ｗ以下である場合（ＹＥＳ）、終端部分ｍ２には凹状欠陥ｍｆ１が発生したと判定し（Ｓ２８）、終端部分ｍ２の凹状欠陥ｍｆ１の判定を終了する。その一方で、湾曲度Ｗが湾曲度閾値ｗより大きい場合（ＮＯ）、終端部分ｍ２には凹状欠陥ｍｆ１が発生していないと判定し（Ｓ２９）、終端部分ｍ２の凹状欠陥ｍｆ１の判定を終了する。
【００６１】
図２３のフローチャートを参照して、ビードｍの中間部分ｍ３の凹状欠陥ｍｆ２を判定する方法について説明する。
ビードｍの中間部分ｍ３に発生した凹部を凹状欠陥候補ｍｆ２’と認識する（Ｓ３１）。凹状欠陥候補ｍｆ２’の図心ｃｇの位置から背骨線Ｑまでの最短距離ｄ２を計算する（Ｓ３２）。最短距離ｄ２がビードｍの幅の半分以下か否かを判定する（Ｓ３３）。最短距離ｄ２がビードｍの幅の半分以下の場合（ＹＥＳ）、凹状欠陥候補ｍｆ２’が凹状欠陥ｍｆ２であり、中間部分ｍｆ３に凹状欠陥ｍｆ２が発生したと判定し（Ｓ３４）、中間部分ｍ３の凹状欠陥ｍｆ２の判定を終了する。その一方で、最短距離ｄ２がビードｍの幅の半分より大きい場合（ＮＯ）、凹状欠陥候補ｍｆ２’が凹状欠陥ｍｆ２でなく、中間部分ｍｆ３に凹状欠陥ｍｆ２が発生していないと判定し（Ｓ３５）、中間部分ｍ３の凹状欠陥ｍｆ２の判定を終了する。
【００６２】
図２４のフローチャートを参照して、消失欠陥ｍｆ３、分離欠陥ｍｆ４、及び穴状欠陥ｍｆ５を判定する方法について説明する。ビード領域Ｅ内に背骨線Ｑに対してビード幅方向両側にそれぞれシフトした追加背骨線Ｑ’を形成する（Ｓ４１）。取り込んだ画像に基づいて背骨線Ｑ及び追加背骨線Ｑ’に沿った残熱発光の輝度分布を算出する（Ｓ４２）。平均輝度Ｇが所定の消失輝度閾値ｇ３以下であるか否かを判定する（Ｓ４３）。平均輝度Ｇが所定の消失輝度閾値ｇ３以下である場合（ＹＥＳ）、分離欠陥ｍｆ３、穴状欠陥ｍｆ４、又は消失欠陥ｍｆ５が発生したと判定し（Ｓ４４）、分離欠陥ｍｆ３、穴状欠陥ｍｆ４、及び消失欠陥ｍｆ５の判定を終了する。その一方で、平均輝度Ｇが所定の消失輝度閾値ｇ３より大きい場合（ＮＯ）、背骨線Ｑ及び追加背骨線Ｑ’に沿った残熱発光の輝度分布においてＶ字状低下区間ｚが発生したか否かを判定する（Ｓ４５）。Ｖ字状低下区間ｚが発生した場合（ＹＥＳ）、分離欠陥ｍｆ３又は穴状欠陥ｍｆ４が発生したと判定し（Ｓ４６）、分離欠陥ｍｆ３、穴状欠陥ｍｆ４、及び消失欠陥ｍｆ５の判定を終了する。その一方で、Ｖ字状低下区間ｚが発生していない場合（ＮＯ）、分離欠陥ｍｆ３、穴状欠陥ｍｆ４、及び消失欠陥ｍｆ５が発生していないと判定し（Ｓ４７）、分離欠陥ｍｆ３、穴状欠陥ｍｆ４、及び消失欠陥ｍｆ５の判定を終了する。
【００６３】
以上のように本実施形態によれば、ビードｍの接合終端部分ｍ２の凹状欠陥ｍｆ１、ビードｍの接合中間部分ｍ３の凹状欠陥ｍｆ２、ビードｍの接合始端部分ｍ３の消失欠陥ｍｆ３、ビードｍの分離欠陥ｍｆ４、及びビードｍの接合中間部分ｍｆ３の穴状欠陥ｍｆ５を正確に検出できる。よって、ビードｍ全体に発生する様々な欠陥を正確に検出できる。
【００６４】
本実施形態によれば、追加背骨線Ｑ’に沿った残熱発光の輝度分布に基づいて、背骨線Ｑからビード幅方向にシフトした穴状欠陥ｍｆ５を正確に検出できる。
【００６５】
［第２実施形態］
本発明の第２実施形態に係る画像処理システムについて以下に説明する。第２実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００６６】
図２５〜図３０を参照して、第２実施形態における画像処理装置３の画像処理部４の詳細を説明する。図２５を参照すると、画像処理部４はビード認識手段４１を有しており、このビード認識手段４１は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するようになっている。図２５を参照すると、画像処理部４はビード判別手段４２を有しており、このビード判別手段４２は、複数のビード領域候補が認識された場合に、複数のビード領域候補から実際のビードに対応するビード領域Ｅを判別するようになっている。図２５を参照すると、画像処理部４は基準線設定手段４３を有しており、この基準線設定手段４３は、図２６及び図２７に示すように、取り込んだ画像にて複数の基準線Ｌを格子状に設定するようになっている。図２５を参照すると、画像処理部４は輪郭点形成手段４４を有しており、この輪郭点形成手段４４は、図２６及び図２７に示すように、基準線Ｌ上にビード領域Ｅの輪郭点ｐを形成するようになっている。図２５を参照すると、画像処理部４は背骨点形成手段４５を有しており、この背骨点形成手段４５は、図２６及び図２７に示すように、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間に位置する背骨点ｑを形成するようになっている。
【００６７】
図２５を参照すると、画像処理部４は概略形状判定手段４６を有しており、概略形状判定手段４６は、背骨点ｑに基づいてビードｍの概略形状を判断するようになっている。図２５を参照すると、画像処理部４は円弧用修正要素４７を有しており、円弧用修正要素４７は、図２６に示すように、概略形状判定手段４６がビードｍの概略形状を円弧形状と判定した場合に、図２８及び図２９に示すように、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出するようになっている。図２５を参照すると、画像処理部４は直線用修正要素４８を有しており、直線用修正要素４８は、図２７に示すように、概略形状判定手段４６がビードｍの概略形状を直線形状と判定した場合に、図３０に示すように、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出するようになっている。図２５を参照すると、画像処理部４は輪郭線形成手段４９を有しており、この輪郭線形成手段４９は、輪郭点ｐに基づいて輪郭線Ｐを形成するか、又は図２９及び図３０に示すように円弧用修正要素４７及び直線用修正要素４８によって算出された複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成するようになっている。図２５を参照すると、画像処理部４は背骨線形成手段５０を有しており、この背骨線形成手段５０は、背骨点ｑに基づいて背骨線Ｑを形成するか、又は図２９及び図３０に示すように円弧用修正要素４７及び直線用修正要素４８によって算出された複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成するようになっている。
【００６８】
ビード認識手段４１の詳細について説明する。ビード認識手段４１により認識されるビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きい領域になっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別可能とするように設定されている。なお、ビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。
【００６９】
図２５を参照して、ビード判別手段４２の詳細について説明する。ビード判別手段４２は、ビード領域候補の幅Ｂが所定の幅閾値ｂ以下になっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識するようになっている。一例として、溶接部材Ｍの溶接領域Ｊに形成されるビードｍの幅が、バラツキによって予め定められた値の２倍より大きくなり難いので、幅閾値ｂは、予め定められたビードｍの幅の２倍であるとよく、より精度を高めるためには、幅閾値ｂは、予め定められたビードｍの幅の１．５倍であると好ましい。また、ビード判別手段４２は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択するようになっていていると好ましい。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に選択されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別手段４２は、複数のビード領域候補が時間を前後して取り込んだ画像において移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するようになっていると好ましい。
【００７０】
図２６及び図２７を参照して、基準線設定手段４３の詳細について説明する。基準線設定手段４３により設定される複数の基準線Ｌは、互いにピクセル単位の間隔を空けて配置されている。このような複数の基準線Ｌ同士の間隔は、複数のビード領域点ｅの間隔より大きくなっていると好ましい。
【００７１】
図２６及び図２７を参照して、輪郭点形成手段４４の詳細について説明する。輪郭点ｐは、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界と基準線Ｌとの交差箇所に形成される。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きい明領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さい暗領域との間の輝度境界に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｈは、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって、設定されているとよい。
【００７２】
図２６及び図２７を参照して、概略形状判定手段４６の詳細について説明する。概略形状判定手段４６は、複数の背骨点ｑの位置に基づいて、ビードｍの形状が、円弧形状、直線形状、又は円弧形状及び直線形状以外の形状であるかを判定するようになっている。
【００７３】
図２５、図２８、及び図２９を参照して、円弧用修正要素４７の詳細について説明する。図７を参照すると、円弧用修正要素４７は代表背骨点抽出手段５１を有しており、代表背骨点抽出部５１は、図２８に示すように、複数の背骨点ｑからビード領域Ｅの長さを均等に分けるように位置する３個以上の代表背骨点ｑ０を抽出するようになっている。図２５を参照すると、円弧用修正要素４７は二等分線算出手段５２を有しており、二等分線算出手段５２は、図２８に示すように、隣接する代表背骨点ｑ０を結ぶ線分の長手方向中間で当該線分に直交する二等分線Ｄを算出するようになっている。図２５を参照すると、円弧用修正要素４７は交点算出手段５３を有しており、交点算出手段５３は、図２８に示すように、複数の二等分線Ｄ同士の交点ｃを算出するようになっている。図２５を参照すると、円弧用修正要素４７は円弧用修正基準線設定手段５４を有しており、円弧用修正基準点設定手段５４は、図２９に示すように、二等分線Ｄの交点ｃを中心として放射状に延びる複数の修正基準線Ｌ’を設定するようになっている。図２５を参照すると、円弧用修正要素４７は円弧用修正輪郭点形成手段５５を有しており、円弧用修正輪郭点形成手段５５は、図２９に示すように、ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成するようになっている。図２５を参照すると、円弧用修正要素４７は円弧用修正背骨点形成手段５６を有しており、円弧用修正背骨点形成手段５６は、図１２に示すように、同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間の中間に修正背骨点ｑ’を形成するようになっている。
【００７４】
図２５及び図３０を参照して、直線用修正要素４８の詳細について説明する。図７を参照すると、直線用修正要素４８は直線用修正基準線設定手段５７を有しており、直線用修正基準線形成手段５７は、図３０に示すように、ビード領域Ｅの延びる方向に直交する複数の修正基準線Ｌ’を設定するようになっている。図２５を参照すると、直線用修正手段４８は直線用修正輪郭点形成手段５８を有しており、直線用修正輪郭点形成手段５８は、図３０に示すように、ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成するようになっている。図２５を参照すると、直線用修正手段４７は直線用修正背骨点形成手段５９を有しており、直線用修正背骨点形成手段５９は、図３０に示すように、同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間に修正背骨点ｑ’を形成するようになっている。
【００７５】
図２９及び図３０を参照して、輪郭線形成手段４９及び背骨線形成手段５０の詳細について説明する。輪郭線形成手段４９は、フィッティング関数ｆｎ１を用いて、複数の輪郭線ｐ又は複数の修正輪郭点ｐ’に基づく輪郭線Ｐを形成するようになっている。また、背骨線形成手段５０は、フィッティング関数ｆｎ２を用いて、複数の背骨点ｑ又は複数の修正背骨点ｑ’に基づく背骨線Ｑを形成するようになっている。一例として、フィッティング関数ｆｎ１及びフィッティング関数ｆｎ２の少なくとも一方が、各輪郭点ｐ、各修正輪郭点ｐ’、各背骨点ｑ、又は各修正背骨点ｑ’の座標を（ＸＪ，ＹＪ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）と認識した場合に、上述の式（３）に基づく折れ線によって定義されてもよく、式（３）のＡＸＪ、ＢＸＪ、ＡＹＪ、ＢＹＪ、及びｔＪは、それぞれ上述の式（４）〜式（８）によって定義される。
【００７６】
ここで、図３１のフローチャートを参照して、本実施形態の画像処理装置３における画像処理方法を説明する。画像取り込み装置２の画像取り込み部９に取り込んだ画像に基づいて、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっているビード領域候補を認識し、複数のビード領域候補が認識された場合に、複数のビード領域候補の１つを読み出す（Ｓ５１）。読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ５２）。
【００７７】
ビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であると判別された場合（ＹＥＳ）、複数の基準線Ｌを格子状に設定し（Ｓ５３）、ビードｍの輪郭に相当する輝度境界と基準線Ｌとの交差箇所に輪郭点ｐを形成し（Ｓ５４）、かつ同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間に位置する背骨点ｑを形成する（Ｓ５５）。背骨点ｑに基づいてビードｍの概略形状が円弧形状であるか否かを判断する（Ｓ５６）。
【００７８】
ビードｍの概略形状が円弧形状であると判定された場合（ＹＥＳ）、円弧用修正要素１６によって、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する（Ｓ５７）。さらに、複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成し（Ｓ５８）、複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成する（Ｓ５９）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ６１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ２）。
【００７９】
ビードｍの概略形状が円弧形状でないと判定された場合（ＮＯ）、ビードｍの概略形状が直線形状であるか否かを判定する（Ｓ６２）。ビードｍの概略形状が直線形状であると判断された場合（ＹＥＳ）、直線用修正要素１７によって、基準線Ｌ、輪郭点ｐ、及び背骨点ｑをそれぞれ修正した修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する（Ｓ６３）。さらに、複数の修正輪郭点ｐ’に基づいて輪郭線Ｐを形成し（Ｓ５８）、複数の修正背骨点ｑ’に基づいて背骨線Ｑを形成する（Ｓ５９）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ５１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ５２）。
【００８０】
ビードｍの概略形状が直線形状でないと判断された場合（ＮＯ）、複数の輪郭点ｐに基づいて輪郭線Ｐを形成し（Ｓ６４）、複数の背骨点ｑに基づいて背骨線Ｑを形成する（Ｓ６５）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ６１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ６２）。
【００８１】
その一方で、ビード領域候補の幅Ｂが、所定の幅閾値ｂより大きいと判別された場合（ＮＯ）、すなわち、ビード領域候補がプラズマ光又はスパッタ粒子であると判別された場合、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６０）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ６１）、読み出されたビード領域候補の幅Ｂが、所定の幅閾値ｂ以下であるか否かを判別する（Ｓ６２）。
【００８２】
図３２のフローチャートを参照して、円弧用修正要素４７によって修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する方法の詳細について説明する。複数の背骨点ｑからビード領域Ｅの長さを均等に分けるように位置する３個以上の代表背骨点ｑ０を抽出する（Ｓ７１）。隣接する代表背骨点ｑ０を結ぶ線分の長手方向中間で当該線分に直交する二等分線Ｄを算出する（Ｓ７２）。複数の二等分線Ｄ同士の交点ｃを算出する（Ｓ７３）。二等分線Ｄの交点ｃを中心として放射状に延びる複数の修正基準線Ｌ’を設定する（Ｓ７４）。ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成する（Ｓ７５）。同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間の中間に修正背骨点ｑ’を形成する（Ｓ７６）。
【００８３】
図３３のフローチャートを参照して、直線用修正要素４８によって修正基準線Ｌ’、修正輪郭点ｐ’、及び修正背骨点ｑ’を算出する方法の詳細について説明する。ビード領域Ｅの延びる方向に直交する複数の修正基準線Ｌ’を設定する（Ｓ８１）。ビードｍの輪郭に相当する輝度境界と修正基準線Ｌ’との交差箇所に修正輪郭点ｐ’を形成する（Ｓ８２）。同一の修正基準線Ｌ’上における２つの修正輪郭点ｐ’間に修正背骨点ｑ’を形成する（Ｓ８３）。
【００８４】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００８５】
［第３実施形態］
本発明の第３実施形態に係る画像処理システムについて以下に説明する。第３実施形態は、基本的には、第１実施形態又は第２実施形態と同様になっている。第１実施形態及び第２実施形態と同様な要素は、第１実施形態及び第２実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態及び第２実施形態と異なる構成について説明する。
【００８６】
本実施形態では、第１実施形態又は第２実施形態におけるＳｉ用ロングパスフィルタ６ｃの代わりに、後述するインジウムガリウムヒ素系の半導体から作製された撮像素子（以下、「ＩｎＧａＡｓ系撮像素子」という）に対応するＩｎＧａＡｓ用ロングパスフィルタが設けられている。ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍ以上の波長範囲で光を透過するように構成されている。本実施形態では、撮像器６ｆが、第１実施形態又は第２実施形態のＳｉ系撮像素子６ｆ１の代わりに、ＩｎＧａＡｓ系撮像素子を有している。ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲において光に対する感度を有している。ＩｎＧａＡｓ系撮像素子は、撮像器６ｆに送られたモニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、ＩｎＧａＡｓ系撮像素子の撮像面の条件は、第１実施形態におけるＳｉ系撮像素子６ｆ１の撮像面の条件と同様になっている。
【００８７】
ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲について説明する。上述したように、レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。また、レーザ等の発光は、１０６０ｎｍ付近の波長成分を含んでいるので、ＩｎＧａＡｓ系撮像素子に入力される光は、１０６０ｎｍ周辺の波長範囲を避けることが好ましい。
【００８８】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲は、１２００ｎｍ以上に定められている。そのため、ＩｎＧａＡｓ系撮像素子には、１２００ｎｍ以上の波長範囲で光が送られて、ＩｎＧａＡｓ系撮像素子は、入力される光を１２００ｎｍ〜２０００ｎｍの波長範囲で感知することとなる。なお、ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲で光を感知できればよいので、例えば、ＩｎＧａＡｓ用ロングパスフィルタが、１３００ｎｍ、１４００ｎｍ、１５００ｎｍ、１６００ｎｍ、１７００ｎｍ、１８００ｎｍ、又は１９００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００８９】
また、本実施形態の画像処理システム１を用いて溶接領域に形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態又は第２実施形態と同様になっている。
【００９０】
以上のように本実施形態によれば、第１実施形態又は第２実施形態と同様の効果が得られる。
【００９１】
［第４実施形態］
本発明の第４実施形態に係る画像処理システムについて以下に説明する。第４実施形態は、基本的には、第１実施形態又は第２実施形態と同様になっている。第１実施形態及び第２実施形態と同様な要素は、第１実施形態及び第２実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態及び第２実施形態と異なる構成について説明する。
【００９２】
本実施形態では、第１実施形態及び第２実施形態におけるＳｉ用ロングパスフィルタ６ｃの代わりに、Ｓｉ用バンドパスフィルタが設けられている。Ｓｉ用バンドパスフィルタは、８００ｎｍ以上かつ１０５０ｎｍ以下の波長範囲で光を透過するように構成されている。
【００９３】
Ｓｉ用バンドパスフィルタを透過する光の波長範囲について説明する。Ｓｉ用バンドパスフィルタを透過する光の波長範囲の下限値は、第１実施形態におけるＳｉ用ロングパスフィルタ６ｃを透過する光の波長範囲の下限値を８００ｎｍとしたことと同様の理由に基づいて、８００ｎｍ以上に定められている。また、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、Ｓｉ用バンドパスフィルタを透過する光の波長範囲の上限値は、１０５０ｎｍに定められている。
【００９４】
本実施形態の画像処理システム１を用いて溶接領域に形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態又は第２実施形態と同様になっている。
【００９５】
以上のように本実施形態によれば、第１実施形態又は第２実施形態と同様の効果が得られる。
【００９６】
［第５実施形態］
本発明の第５実施形態に係る画像処理システムについて以下に説明する。第５実施形態は、基本的には、第３実施形態と同様になっている。第３実施形態と同様な要素は、第３実施形態と同様の符号および名称を用いて説明する。ここでは、第３実施形態と異なる構成について説明する。
【００９７】
本実施形態では、第３実施形態におけるＩｎＧａＡｓ用ロングパスフィルタの代わりに、ＩｎＧａＡｓ用バンドパスフィルタが設けられている。ＩｎＧａＡｓ用バンドパスフィルタは、１２００ｎｍ以上かつ２０００ｎｍ以下の波長範囲で光を透過するように構成されている。
【００９８】
ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲について説明する。ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の下限値は、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲の下限値を１２００ｎｍとしたことと同様の理由に基づいて、１２００ｎｍ以上に定められている。また、長波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は２６００ｎｍとされ、短波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は１７００ｎｍとされている。さらに、短波長高感度タイプのＩｎＧａＡｓ系撮像素子は、そのバンドギャップが緩やかに減少するために、１７００ｎｍ〜２０００ｎｍの範囲においても一定の感度（応答性能）を有している。そのため、長波長高感度タイプ、短波長高感度タイプ等のあらゆるＩｎＧａＡｓ系撮像素子に対応すべく、ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の上限値は２０００ｎｍに定められている。
【００９９】
以上のように本実施形態によれば、第３実施形態と同様の効果が得られる。
【０１００】
ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【０１０１】
例えば、本発明の変形例として、レーザ溶接以外のビーム系接合時に残熱発光が生じている状態の溶接領域Ｊをモニタ部７によって撮影及び取り込んだ画像に基づいて、溶接領域Ｊに形成されるビードｍの形状を認識してもよい。この場合、ビーム系接合は、レーザブレージング、レーザクラッディング、プラズマ溶接、電子ビーム溶接等であるとよい。
【符号の説明】
【０１０２】
１  画像処理システム
３  画像処理装置
５  ビード形状判定部
１５  終端欠陥判定要素
１６  中間欠陥判定要素
１７  輝度欠陥判定要素
１８  代表点形成手段
１９  終端点形成手段
２０  副代表点形成手段
２１  直線形成手段
２２  境界点形成手段
２３  湾曲度計算手段
２４  湾曲度判定手段
２５  欠陥候補認識手段
２６  距離計算手段
２７  距離判定手段
２８  追加背骨線形成手段
２９  輝度分布認識手段
３０  輝度下限判定手段
３１  輝度低下判定手段
Ｍ  溶接部材
Ｊ  溶接領域
ｍ  ビード
ｍ１  接合始端部分（始端部分）
ｍ２  接合終端部分（終端部分）
ｍ３  接合中間部分（中間部分）
ｍｆ１  凹状欠陥
ｍｆ２  凹状欠陥
ｍｆ２’  凹状欠陥候補
ｍｆ３  消失欠陥
ｍｆ４  分離欠陥
ｍｆ５  穴状欠陥
ｍｆ５’  穴状欠陥候補
Ｌ１  レーザ光
Ｌ２  モニタリング光
θ１，θ２  角度
Ｇ  平均輝度
ｇ１  開始輝度閾値
ｇ２  終了輝度閾値
Ｅ  ビード領域
Ｅ１  始端部分
Ｅ２  終端部分
Ｅ３  中間部分
ｅ  ビード領域点
Ｌ  基準線
Ｌ’  修正基準線
Ｐ  輪郭線
ｐ  輪郭点
ｐ’  修正輪郭点
Ｑ  背骨線
ｑ  背骨点
ｑ’  修正背骨点
ｑ０  代表背骨点
ｑ１  代表中間点
ｑ２  終端中間点
ｑ３  副代表中間点
Ｄ  二等分線
ｃ  交点
ｃｇ  図心
Ｒ，Ｕ，Ｖ，ＵＶ  直線
ｕ，ｖ  境界点
ｚ  区間
ｄ１，ｄ３  距離
ｄ２  最短距離
Ａ１  実線
Ａ２  破線
Ａ３  一点鎖線
Ｓ１〜Ｓ７，Ｓ１１〜Ｓ１７，Ｓ２１〜Ｓ２９，Ｓ３１〜Ｓ３５，Ｓ４１〜Ｓ４７，Ｓ５１〜Ｓ６５，Ｓ７１〜Ｓ７６，Ｓ８１〜Ｓ８３  ステップ
【図１】
2014014856.tif 000007
【図２】
2014014856.tif 000008
【図３】
2014014856.tif 000009
【図４】
2014014856.tif 000010
【図５】
2014014856.tif 000011
【図６】
2014014856.tif 000012
【図７】
2014014856.tif 000013
【図８】
2014014856.tif 000014
【図９】
2014014856.tif 000015
【図１０】
2014014856.tif 000016
【図１１】
2014014856.tif 000017
【図１２】
2014014856.tif 000018
【図１３】
2014014856.tif 000019
【図１４】
2014014856.tif 000020
【図１５】
2014014856.tif 000021
【図１６】
2014014856.tif 000022
【図１７】
2014014856.tif 000023
【図１８】
2014014856.tif 000024
【図１９】
2014014856.tif 000025
【図２０】
2014014856.tif 000026
【図２１】
2014014856.tif 000027
【図２２】
2014014856.tif 000028
【図２３】
2014014856.tif 000029
【図２４】
2014014856.tif 000030
【図２５】
2014014856.tif 000031
【図２６】
2014014856.tif 000032
【図２７】
2014014856.tif 000033
【図２８】
2014014856.tif 000034
【図２９】
2014014856.tif 000035
【図３０】
2014014856.tif 000036
【図３１】
2014014856.tif 000037
【図３２】
2014014856.tif 000038
【図３３】
2014014856.tif 000039