(57)【要約】【課題】ビードの形状を正確に認識でき、かつ画像処理の計算負荷を低減できる画像処理方法及び画像処理システムを提供する。【解決手段】溶接中の溶接領域を連続的に撮影かつ取り込んだ複数の画像データに基づいて、ビードの形状を認識する画像処理方法であって、取り込んだ各画像データを、スパッタに相当する明領域の候補であるスパッタ領域候補を浮かび上がらせるように二値化するステップと、二値化された複数の画像データ間で変化するスパッタ領域候補を含んだスパッタ範囲を抽出するように、画像データをその前後に取り込んだ画像データに対してＸＯＲ演算処理するステップと、スパッタ領域候補が、移動スパッタ領域であるか否かを判定するステップと、スパッタ領域候補が移動スパッタ領域である場合、移動スパッタ領域を含んだスパッタ範囲を除去するステップとを含む画像処理方法。その方法を用いた画像処理システム。【選択図】図７
2014014857.tif 000002
【特許請求の範囲】
【請求項１】
溶接中の溶接領域を連続的に撮影かつ取り込んだ複数の画像データに基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、
前記取り込んだ複数の画像データのそれぞれを、移動スパッタ又は静止スパッタに相当する明領域の候補であるスパッタ領域候補を浮かび上がらせるように二値化するステップと、
前記二値化された複数の画像データ間で変化するスパッタ領域候補を含んだスパッタ範囲を抽出するように、前記二値化された画像データを該画像データの前に又は次に取り込んだ画像データに対してＸＯＲ演算処理するステップと、
前記スパッタ領域候補が、細長形状の移動スパッタに相当する移動スパッタ領域であるか否かを判定するステップと、
前記スパッタ領域候補が前記移動スパッタ領域であると判定された場合、前記移動スパッタ領域を含んだスパッタ範囲を除去するステップと
を含む画像処理方法。
【請求項２】
前記移動スパッタ領域を含んだスパッタ範囲を除去するステップは、
前記移動スパッタ領域内の複数の代表中心点を算出し、
前記算出した代表中心点に基づいた線分近似フィッティングによって、前記移動スパッタ領域の幅中心を通る中心線を算出し、
前記中心線を算出した移動スパッタ領域を含んだスパッタ範囲を記憶し、かつ
前記記憶したスパッタ範囲を前記画像データから除去すること
を含む、請求項１に記載の画像処理方法。
【請求項３】
前記代表中心点の算出は、
前記画像上に楕円形状のカット用楕円領域を形成し、
前記カット用楕円領域を、その長径方向を前記移動スパッタ領域の長手方向に対して直交するように方向転換し、
前記カット用楕円領域の図心と前記移動スパッタ領域の図心とを一致させ、
前記カット用楕円領域を表す二値化データを、前記移動スパッタ領域を表す二値化データに対して反対に変換し、
前記移動スパッタ領域を分離するように、前記変換したカット用楕円領域の二値化データと前記移動スパッタ領域の二値化データとの間でＡＮＤ演算処理を実施し、
前記ＡＮＤ演算処理により分離された移動スパッタ領域のそれぞれの図心を算出し、かつ
前記分離前の移動スパッタ領域の図心、及び前記分離された移動スパッタ領域のそれぞれの図心を代表中心点として定義すること
を含む、請求項２に記載の画像処理方法。
【請求項４】
前記スパッタ領域候補が前記移動スパッタ領域ではないと判定された場合、前記スパッタ領域候補が静止スパッタに相当する静止スパッタ領域であるか否かを判定するステップと、
前記スパッタ領域候補が前記静止スパッタ領域であると判定された場合、前記静止スパッタ領域を含んだスパッタ範囲を記憶し、かつ前記記憶したスパッタ範囲を除去するステップと
をさらに含む請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定では、
前記スパッタ領域候補と前記ビードに相当するビード領域との間の最短距離が所定の長さ以上である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する請求項４に記載の画像処理方法。
【請求項６】
前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定では、
前記スパッタ領域候補が等方的形状である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する請求項４又は５に記載の画像処理方法。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理方法を用いた画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、溶接中の溶接領域を連続的に撮影かつ取り込んだ複数の画像データに基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法に関し、かつその方法を用いた画像処理システムに関する。
【背景技術】
【０００２】
従来より、溶接中の溶接領域を、カメラ、光センサ等によって連続的に撮影かつ取り込んだ複数の画像に基づいて、溶接領域のビードの形状を認識する画像処理が行われている。しかしながら、金属等を溶接する際には必然的にスパッタが発生する。このスパッタの発生量、発生タイミング、飛散方向等を予測することは困難であり、このようなスパッタがビードに重なった場合、画像処理においてビードの形状を高い精度で認識することが難しくなるという問題がある。
【０００３】
スパッタの画像処理について、例えば、特許文献１では、アーク溶接中の溶接領域を連続的に撮影かつ取り込んだ画像において、アーク放電部に対して画像幅方向両側に検出線を設定し、この検出線を通過するスパッタを検出することによって、スパッタの個数及び大きさを算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−  ２８７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像処理では、スパッタの位置を把握することができず、取り込んだ画像からスパッタを除いて画像処理を実施することはできない。そのため、このような画像処理においては、ビードの形状を高い精度で認識できなくなっている。
【０００６】
また、スパッタの位置及び飛散方向を正確に認識しようとした場合、スパッタの位置及び飛散方向を算出し、かつ算出したスパッタの位置及び飛散方向に関するデータを保管するという処理を施す必要がある。そのため、このような処理によって計算負荷が増加するという問題がある。
【０００７】
本発明はこのような実状に鑑みてなされたものであって、その目的は、ビードの形状を正確に認識でき、かつ画像処理の計算負荷を低減できる画像処理方法及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
課題を解決するために、本発明の一態様に係る画像処理方法は、溶接中の溶接領域を連続的に撮影かつ取り込んだ複数の画像データに基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、前記取り込んだ複数の画像データのそれぞれを、移動スパッタ又は静止スパッタに相当する明領域の候補であるスパッタ領域候補を浮かび上がらせるように二値化するステップと、前記二値化された複数の画像データ間で変化するスパッタ領域候補を含んだスパッタ範囲を抽出するように、前記二値化された画像データ間を該画像データの前に又は次に取り込んだ画像データに対してＸＯＲ演算処理するステップと、前記スパッタ領域候補が、細長形状の移動スパッタに相当する移動スパッタ領域であるか否かを判定するステップと、前記スパッタ領域候補が前記移動スパッタ領域であると判定された場合、前記移動スパッタ領域を含んだスパッタ範囲を除去するステップとを含む。
【０００９】
本発明の一態様に係る画像処理方法では、前記移動スパッタ領域を含んだスパッタ範囲を除去するステップは、前記移動スパッタ領域内の複数の代表中心点を算出し、前記算出した代表中心点に基づいた線分近似フィッティングによって、前記移動スパッタ領域の幅中心を通る中心線を算出し、前記中心線を算出した移動スパッタ領域を含んだスパッタ範囲を記憶し、かつ前記記憶したスパッタ範囲を前記画像データから除去することを含む。
【００１０】
本発明の一態様に係る画像処理方法では、前記代表中心点の算出は、前記画像上に楕円形状のカット用楕円領域を形成し、前記カット用楕円領域を、その長径方向を前記移動スパッタ領域の長手方向に対して直交するように方向転換し、前記カット用楕円領域の図心と前記移動スパッタ領域の図心とを一致させ、前記カット用楕円領域を表す二値化データを、前記移動スパッタ領域を表す二値化データに対して反対になるように変換し、前記移動スパッタ領域を分離するように、前記変換したカット用楕円領域の二値化データと前記移動スパッタ領域の二値化データとの間でＡＮＤ演算処理を実施し、前記ＡＮＤ演算処理により分離された移動スパッタ領域のそれぞれの図心を算出し、かつ前記分離前の移動スパッタ領域の図心、及び前記分離された移動スパッタ領域のそれぞれの図心を代表中心点として定義することを含む。
【００１１】
本発明の一態様に係る画像処理方法は、前記スパッタ領域候補が前記移動スパッタ領域ではないと判定された場合、前記スパッタ領域候補が静止スパッタに相当する静止スパッタ領域であるか否かを判定するステップと、前記スパッタ領域候補が前記静止スパッタ領域であると判定された場合、前記静止スパッタ領域を含んだスパッタ範囲を記憶し、かつ前記記憶したスパッタ範囲を除去するステップとをさらに含む。
【００１２】
本発明の一態様に係る画像処理方法では、前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定にて、前記スパッタ領域候補と前記ビードに相当するビード領域との間の最短距離が所定の長さ以上である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する。
【００１３】
本発明の一態様に係る画像処理方法では、前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定にて、前記スパッタ領域候補が等方的形状である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する。
【００１４】
本発明の一態様に係る画像処理システムは、上述した画像処理方法を用いる。
【発明の効果】
【００１５】
本発明によれば、以下の効果を得ることができる。本発明の一態様に係る画像処理方法は、溶接中の溶接領域を連続的に撮影かつ取り込んだ複数の画像データに基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、前記取り込んだ複数の画像データのそれぞれを、移動スパッタ又は静止スパッタに相当する明領域の候補であるスパッタ領域候補を浮かび上がらせるように二値化するステップと、前記二値化された複数の画像データ間で変化するスパッタ領域候補を含んだスパッタ範囲を抽出するように、前記二値化された画像データを該画像データの前に又は次に取り込んだ画像データに対してＸＯＲ演算処理するステップと、前記スパッタ領域候補が、細長形状の移動スパッタに相当する移動スパッタ領域であるか否かを判定するステップと、前記スパッタ領域候補が前記移動スパッタ領域であると判定された場合、前記移動スパッタ領域を含んだスパッタ範囲を除去するステップとを含む。また、本発明の一態様に係る画像処理方法では、前記移動スパッタ領域を含んだスパッタ範囲を除去するステップは、前記移動スパッタ領域内の複数の代表中心点を算出し、前記算出した代表中心点に基づいた線分近似フィッティングによって、前記移動スパッタ領域の幅中心を通る中心線を算出し、前記中心線を算出した移動スパッタ領域を含んだスパッタ範囲を記憶し、かつ前記記憶したスパッタ範囲を前記画像データから除去することを含む。そのため、画像上の移動スパッタ領域が除去されて、移動スパッタの影響を受けずにビードの形状を正確に認識することができる。特に、移動スパッタがビードと重なった場合、移動スパッタがビードに重なるタイミング前後の画像を用いることによって、ビードの形状を正確に認識することができる。また、移動スパッタ領域が画像データから除去されて、ビードの形状認識に必要とされる画像データのみが画像処理されることになるので、画像処理の計算負荷を低減することができる。
【００１６】
本発明の一態様に係る画像処理方法では、前記代表中心点の算出は、前記画像上に楕円形状のカット用楕円領域を形成し、前記カット用楕円領域を、その長径方向を前記移動スパッタ領域の長手方向に対して直交するように方向転換し、前記カット用楕円領域の図心と前記移動スパッタ領域の図心とを一致させ、前記カット用楕円領域を表す二値化データを、前記移動スパッタ領域を表す二値化データに対して反対になるように変換し、前記移動スパッタ領域を分離するように、前記変換したカット用楕円領域の二値化データと前記移動スパッタ領域の二値化データとの間でＡＮＤ演算処理を実施し、前記ＡＮＤ演算処理により分離された移動スパッタ領域のそれぞれの図心を算出し、かつ前記分離前の移動スパッタ領域の図心、及び前記分離された移動スパッタ領域のそれぞれの図心を代表中心点として定義することを含む。そのため、線分近似フィッティングに用いられる移動スパッタ領域の代表中心点が簡単に算出されて、画像処理の計算負荷を低減することができる。
【００１７】
本発明の一態様に係る画像処理方法は、前記スパッタ領域候補が前記移動スパッタ領域ではないと判定された場合、前記スパッタ領域候補が静止スパッタに相当する静止スパッタ領域であるか否かを判定するステップと、前記スパッタ領域候補が前記静止スパッタ領域であると判定された場合、前記静止スパッタ領域を含んだスパッタ範囲を記憶し、かつ前記記憶したスパッタ範囲を除去するステップとをさらに含む。そのため、画像上の静止スパッタ領域が除去されて、静止スパッタの影響を受けずにビードの形状を正確に認識することができる。また、静止スパッタ領域が画像データから除去されて、ビードの形状認識に必要とされる画像データのみが画像処理されることになるので、画像処理の計算負荷を低減することができる。
【００１８】
本発明の一態様に係る画像処理方法では、前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定にて、前記スパッタ領域候補と前記ビードに相当するビード領域との間の最短距離が所定の長さ以上である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する。また、本発明の一態様に係る画像処理方法では、前記スパッタ領域候補が前記静止スパッタ領域であるか否かの判定にて、前記スパッタ領域候補が等方的形状である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する。
そのため、静止スパッタ領域が正確に判別されて、静止スパッタ領域を確実に除去できる。よって、ビードの形状を正確に認識することができる。
【００１９】
本発明の一態様に係る画像処理システムは、上述した画像処理方法を用いる。そのため、上述のようにビードの形状を正確に認識でき、かつ画像処理の計算負荷を低減できる。
【図面の簡単な説明】
【００２０】
【図１】溶接領域に形成されるビードの一例を示す模式図である。
【図２】本発明の第１実施形態に係る画像処理システムを示すブロック図である。
【図３】本発明の第１実施形態における画像取り込み装置のレーザ照射部及びモニタ部を示す模式図である。
【図４】黒体放射の輻射強度と波長との関係を示す図である。
【図５】シリコン系の半導体から作製される撮像素子の相対感度と撮像素子に入力される波長との関係を示す図である。
【図６】本発明の第１実施形態における溶接直後の時間経過と残熱発光の輝度との関係の一例を示す図である。
【図７】本発明の第１実施形態における画像処理装置の画像処理部を示すブロック図である。
【図８】本発明の第１実施形態において、実際のビードに対応してビード領域を表示した画像の一例を示す模式図である。
【図９】図９（ａ）は、移動スパッタを表示した画像の一例を示す模式図である。図９（ｂ）は、図９（ａ）の次に取り込まれた画像の一例を示す模式図である。図９（ｃ）は、図９（ｂ）の次に取り込まれた画像の一例を示す模式図である。図９（ｄ）は、図９（ｃ）の次に取り込まれた画像の一例を示す模式図である。
【図１０】図１０（ａ）は、静止スパッタを表示した画像の一例を示す模式図である。図１０（ｂ）は、図１０（ａ）の次に取り込まれた画像の一例を示す模式図である。図１０（ｃ）は、図１０（ｂ）の次に取り込まれた画像の一例を示す模式図である。図１０（ｄ）は、図１０（ｃ）の次に取り込まれた画像の一例を示す模式図である。
【図１１】図１１（ａ）は、本発明の第１実施形態において、初期状態のカット用楕円領域を移動スパッタ領域と共に表示した画像の一例を示す模式図である。図１１（ｂ）は、図１１（ａ）のカット用楕円領域を方向転換した状態にある画像の一例を示す模式図である。図１１（ｃ）は、図１１（ｂ）のカット用楕円領域の図心と移動スパッタ領域の図心とを一致させた状態にある画像の一例を示す模式図である。図１１（ｄ）は、図１１（ｃ）のカット用楕円領域によって移動スパッタ領域を分離した状態にある画像の一例を示す模式図である。図１１（ｅ）は、図１１（ｄ）の分離された移動スパッタ領域の図心を算出した状態にある画像の一例を示す模式図である。図１１（ｆ）は、図１１（ｃ）における分離前の移動スパッタ領域の図心、及び図１１（ｅ）における分離後の移動スパッタ領域の図心から成る代表中心点に基づいて中心線を形成した状態にある画像の一例を示す模式図である。
【図１２】本発明の第１実施形態において、代表中心点を算出した静止スパッタを表示した画像の一例を示す模式図である。
【図１３】本発明の第１実施形態に係る画像処理方法に用いられるスパッタ除去方法の概要を説明するフローチャートである。
【図１４】図１３の線分近似フィッティングを説明するフローチャートである。
【図１５】図１３の静止スパッタの判定を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
［第１実施形態］
本発明の第１実施形態に係る画像処理システム及び画像処理方法について説明する。
【００２２】
最初に、図１を参照して、画像処理を実施する対象である溶接部材Ｍの溶接領域Ｊに形成されるビードｍについて説明する。略円弧状に形成されたビードｍは、レーザ溶接の開始地点に形成される接合始端部分（以下、「始端部分」という）ｍ１と、レーザ溶接の溶接終了地点に形成される接合終端部分（以下、「終端部分」という）ｍ２と、始端部分ｍ１及び終端部分ｍ２間に形成される接合中間部分（以下、「中間部分」という）ｍ３とを有している。本実施形態では、一例として、ビードｍは略円弧状に形成されているが、直線状、Ｌ字状、波状等のようなその他の形状であってもよい。
【００２３】
図２を参照すると、画像処理システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザ光Ｌ１を溶接部材Ｍの溶接領域Ｊに照射可能とし、レーザ溶接時の残熱発光が生じている溶接領域Ｊを撮影し、かつ撮影した溶接領域Ｊの画像を取り込むように構成されている。また、画像処理システム１は、画像取り込み装置２に接続される画像処理装置３を有している。画像処理装置３は画像処理部４を有しており、画像処理部４は、画像取り込み装置２により取り込んだ溶接領域Ｊの画像に基づいてビードｍの形状を認識するようになっている。画像処理装置３はビード形状判定部５を有しており、ビード形状判定部５は、画像処理部４により認識されたビードｍの形状に基づいて、ビードｍに発生する欠陥を判定するようになっている。
【００２４】
ここで、図２及び図３を参照して、画像取り込み装置２の詳細を説明する。図２を参照すると、画像取り込み装置２はレーザ照射部６を有しており、このレーザ照射部６は、溶接部材Ｍの溶接領域Ｊに溶接用のレーザ光Ｌ１を照射可能とするように構成されている。画像取り込み装置２はモニタ部７を有しており、このモニタ部７はレーザを照射した溶接領域Ｊの画像を連続的に撮影するように構成されている。画像取り込み装置２は記憶部８を有しており、この記憶部８はモニタ部７により撮影した画像を連続的に記憶するように構成されている。画像取り込み装置２は画像取り込み部９を有しており、この画像取り込み部９は、記憶部８に記憶された画像を取り込むように構成されている。
【００２５】
図３を参照すると、レーザ照射部６はレーザ発振器６ａを有しており、レーザ発振器６ａはレーザ光Ｌ１を発射可能とするように構成されている。レーザ照射部６は略平板状のハーフミラー６ｂを有しており、ハーフミラー６ｂは、レーザ発振器６ａから発射されたレーザ光Ｌ１の光路上に配置されている。このハーフミラー６ｂの表面６ｂ１及び裏面６ｂ２は、レーザ発振器６ａから発射されるレーザ光Ｌ１の光路に対して、所定の角度θ１傾斜している。一例として、所定の角度θ１は４５度であると好ましい。レーザ照射部６は溶接用集光レンズ６ｃを有しており、溶接用集光レンズ６ｃは、ハーフミラー６ｂを通過したレーザ光Ｌ１の光路上に配置され、かつこのレーザ光Ｌ１を溶接部材Ｍ上に集光するように構成されている。このようなレーザ照射部６においては、レーザ発振器６ａから発射されたレーザ光Ｌ１が、ハーフミラー６ｂを通過し、かつ溶接用集光レンズ６ｃによって集光された後に、溶接部材Ｍに照射されることとなる。また、溶接部材Ｍに照射されたレーザ光Ｌ１の一部は反射して、この反射した光（以下、「モニタリング光」という）Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られることとなる。
【００２６】
モニタ部７は略平板状のミラー７ａを有しており、ミラー７ａは、レーザ照射部６のハーフミラー６ｃによって角度を変えられたモニタリング光Ｌ２の光路上に配置され、ミラー７ａの反射面７ａ１は、このモニタリング光Ｌ２の光路に対して、所定の角度θ２傾斜している。モニタ部７は倍率調整レンズ７ｂを有しており、倍率調整レンズ７ｂは、撮影倍率を調整するように構成されている。この倍率調整レンズ７ｂは、ミラー７ａにより反射されたモニタリング光Ｌ２の光路上に配置されている。モニタ部７は、後述するシリコン系の半導体から作製された撮像素子（以下、「Ｓｉ系撮像素子」という）７ｆに対応するロングパスフィルタ（以下、「Ｓｉ用ロングパスフィルタ」という）７ｃを有しており、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍ以上の波長範囲で光を透過するように構成されている。このＳｉ用ロングパスフィルタ７ｃは、倍率調整レンズ７ｂを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７はＮＤフィルタ７ｄを有しており、ＮＤフィルタ７ｄは、それを通過する光の量を減少するように構成されている。このＮＤフィルタ７ｄは、Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７は撮像用集光レンズ７ｅを有しており、撮像用集光レンズ７ｅは、ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２の光路上に配置され、かつこのモニタリング光Ｌ２を、後述するＳｉ系撮像素子７ｆの撮像面上に集光するように構成されている。モニタ部７はＳｉ系撮像素子７ｆを有しており、Ｓｉ系撮像素子７ｆは、モニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、Ｓｉ系撮像素子７ｆは、２００ｎｍ〜１１００ｎｍの波長範囲において光に対する感度を有している。モニタ部７はアンプ７ｇを有しており、アンプ７ｇは、Ｓｉ系撮像素子７ｆから送られるアナログ電気信号を増幅するように構成されている。モニタ部７はＡ／Ｄ変換器７ｈを有しており、Ａ／Ｄ変換器７ｈはアンプ７ｇにより増幅されたアナログ電気信号をデジタル電気信号に変換するように構成されている。このＡ／Ｄ変換器７ｈにより変換されたデジタル電気信号が記憶部８に送られることとなる。なお、モニタ部７のフレームレートは、５０Ｈｚ以上かつ１０００Ｈｚ以下になっている。
【００２７】
Ｓｉ系撮像素子７ｆの撮像面の条件について説明する。Ｓｉ系撮像素子７ｆの撮像面がビードｍ全体を配置した領域に対して著しく大きい場合、画像上で表示されるビードｍが少ないピクセル数によって表されるので、ビードｍの形状を正確に認識できなくなる。そのため、Ｓｉ系撮像素子７ｆの撮像面が略正方形状に形成されていると想定した場合、撮像面の一辺の長さをｄとし、溶接用集光レンズ６ｃの焦点距離をｆ１とし、撮像用集光レンズ７ｅの焦点距離をｆ２とし、倍率調整レンズ７ｂの倍率をｓとし、ビードｍ全体を配置した領域の最大長さをｌとすると、Ｓｉ系撮像素子７ｆの撮像面の一辺の長さは、次の式（１）の条件を満たすと好ましい。
【００２８】
【数１】
2014014857.tif 000003
【００２９】
Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲について説明する。レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度と波長との関係は、黒体放射の式を用いて絶対温度を１２００Ｋ、１０００Ｋ、及び８００Ｋとして計算した場合、図４に示したグラフのようになっている。図４のグラフでは、絶対温度を１２００Ｋとした場合の計算結果を実線Ａ１で示し、絶対温度を１０００Ｋとした場合の計算結果を破線Ａ２で示し、かつ絶対温度を８００Ｋとした場合の計算結果を一点鎖線Ａ３で示している。図４のグラフを参照すると、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。
【００３０】
また、Ｓｉ系撮像素子７ｆの相対感度と、Ｓｉ系撮像素子７ｆに入力される光の波長との関係は、典型的には、図５に示すようになっている。図５に示すように、Ｓｉ系撮像素子７ｆの感度は、６００ｎｍ以上の波長範囲で低下しており、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲において、低い強度の光を感知し難く、かつ高い強度の光を感知する傾向にある。
【００３１】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、波長のバラツキとを考慮して、Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲は、８００ｎｍ以上に定められている。そのため、Ｓｉ系撮像素子７ｆには、８００ｎｍ以上の波長範囲で光が送られて、Ｓｉ系撮像素子７ｆは、入力される光を８００ｎｍ〜１１００ｎｍの波長範囲で感知することとなる。このような波長範囲では、Ｓｉ系撮像素子７ｆは、低い輻射強度を有する遷移発光の成分を含んだプラズマ光を感知し難い一方で、高い輻射強度を有する黒体放射による発光の成分を多く含む残熱発光を感知し易くなっている。なお、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲で光を感知できればよいので、例えば、Ｓｉ用ロングパスフィルタ７ｃが、８００ｎｍ、９００ｎｍ、又は１０００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００３２】
また、モニタ部７のフレームレートの範囲について説明する。溶接開始付近では発生するプラズマが大きな領域を占めているので、溶接を既に終えているビードｍを観察できないことが多い。そのため、溶接開始から一定時間経過後に、記憶部８に画像を蓄積することが有効である。また、ビードｍ全体を画像処理の対象とするためには、連続して取得した複数の画像の一部を用いればよいので、このような複数の画像の一部を取得すればよい。また、画像処理に用いる画像は、完全に連続している必要はない。ビードｍの終端部分ｍ２においては、高速で複数の画像を撮影しない場合に、金属が冷えるので、画像の撮影は高サンプリングにする必要がある。その一方で、溶接開始から溶接終了までの間の途中観察において、高サンプリングで画像の撮影をした場合、ほとんど変化がない複数の画像が取得されることとなる。このような複数の画像において同様の特性を計算することは無駄になるので、モニタ部７のフレームレートは、計算処理時間の短縮、記憶部８の容量の節約等を考慮して定めることが好ましい。そこで、フレームレートの上限値が高くなるに連れて、撮影される画像の数量が増加することによって、ビードｍの形状を認識する精度が高くなる一方で、１秒間に撮影される画像の数量が１０００フレームより大きい場合（すなわち、フレームレートが１０００Ｈｚより大きい場合）、画像処理の計算負荷が増加することとなることを考慮して、フレームレートの上限値は１０００Ｈｚに定められている。
【００３３】
その一方で、フレームレートの下限値が低い場合、１つの画像を撮影するタイミングから次の画像を撮影するタイミングまでの間に、撮影しようとするビードｍの溶接領域Ｊが移動して、モニタ部７により捕らえられた撮影範囲から外れるおそれがある。この場合、ビードｍを正確に撮影することができなくなる。そこで、フレームレートの下限値は、次のような条件を満たす必要がある。
【００３４】
フレームレートをｆとし、溶接に用いられるレーザ光Ｌ１の移動速度をＶｍとし、かつ撮影範囲の中心から撮影範囲内と撮影範囲外との間の境界までの最短距離をＲｍとした場合、フレームレートは、次の式（２）の条件を満たすと好ましい。
【００３５】
【数２】
2014014857.tif 000004
【００３６】
典型的な条件において、Ｖｍは０．１３３ｍ／ｓｅｃ（８ｍ／ｍｉｎ）になり、かつＲｍは０．００２ｍ（２ｍｍ）になるので、式（２）よりｆを約６７Ｈｚより大きくする必要がある。さらに、レーザ光Ｌ１の移動速度のバラツキを考慮して、フレームレートの下限値は５０Ｈｚに定められている。
【００３７】
図６を参照すると、画像取り込み部９は、溶接終了直後から所定の時間内に生じる残熱発光の画像を取り込むように構成されている。具体的には、画像取り込み部９は、画像の平均輝度Ｇが所定の取り込み開始輝度閾値ｇ１以上である場合に、画像の取り込みを開始し、画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。
【００３８】
ここで、画像取り込み装置２の好ましい形態の一例を説明する。残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、溶接終了直後から約２０ｍｓ間に生じる光であると好ましい。この場合、モニタ部７には、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラが用いられるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部７には、高ダイナミックレンジカメラが用いられると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部９では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。
【００３９】
次に、図７及び図８を参照して、画像処理装置３の画像処理部４の詳細を説明する。図７を参照すると、画像処理部４はビード認識手段１０を有しており、このビード認識手段１０は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するようになっている。ビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きい明領域となっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別可能とするように設定されている。なお、ビード領域Ｅは、図８に示すように、複数のビード領域点ｅから構成されている。また、ビード領域Ｅは、ビードｍの始端部分ｍ１に対応する始端部分Ｅ１、ビードｍの終端部分ｍ２に対応する中間部分Ｅ２、及びビードｍの中間部分ｍ３に対応する終端部分Ｅ３を有している。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。
【００４０】
画像処理部４はビード判別手段１１を有しており、このビード判別手段１１は、複数のビード領域候補が認識された場合に、複数のビード領域候補から実際のビードに対応するビード領域Ｅを選択するようになっている。また、ビード判別手段１１は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択するようになっていると好ましい。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタとにそれぞれ対応するビード領域候補が認識された場合、スパッタに対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に判別されることとなる。さらに、スパッタに対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別手段１１は、複数のビード領域候補が時間を前後して取り込んだ画像において移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するようになっているとよい。
【００４１】
ここで、図９（ａ）〜図９（ｄ）、及び図１０（ａ）〜１０（ｄ）を参照して、移動スパッタ及び静止スパッタを表示した画像について説明する。図９（ａ）〜図９（ｄ）を参照すると、画像上には、移動スパッタに相当する細長形状の移動スパッタ領域Ｎ１と、ビードｍに相当するビード領域Ｅとが表示されている。移動スパッタ領域Ｎ１は、図９（ａ）〜図９（ｄ）に示されるように、画像の周縁領域から画像の中央領域に向かって移動している。図９（ｄ）では、移動スパッタ領域Ｎ１はビード領域Ｅと重なっている。図１０（ａ）〜図１０（ｄ）を参照すると、画像上には、静止スパッタに相当する略円形状の静止スパッタ領域Ｎ２と、ビードｍに相当するビード領域Ｅとが表示されている。静止スパッタ領域Ｎ２は、図１０（ａ）に示されるように、初期状態で細長形状になっている。しかしながら、静止スパッタ領域Ｎ２は、図１０（ｂ）及び図１０（ｃ）に示されるように、その一端を基準として短くなるように変化する。その後、静止スパッタ領域Ｎ２は、図１０（ｄ）に示されるように略円形状に変化する。
【００４２】
さらに、画像処理部４は、ビード領域候補からビード領域Ｅを判別した後に、移動スパッタ領域Ｎ１及び静止スパッタ領域Ｎ２を除去するために、次のように構成されている。図７を参照すると、画像処理部４は二値化手段１２を有しており、二値化手段１２は取り込んだ複数の画像のデータのそれぞれを、所定の二値化閾値にて二値化するようになっている。なお、二値化閾値は、スパッタ領域候補を画像上で浮かび上がらせるように設定されているとよく、特に、この二値化閾値は、予めスパッタ領域を明確に浮かび上がらせることができる値を実際に確認し、この確認結果に基づいて定められているとよい。なお、スパッタ領域候補は、上述のように残熱発光の輝度Ｈが輪郭輝度閾値ｈより大きい明領域であるとよい。画像処理部４はＸＯＲ演算手段１３を有しており、ＸＯＲ演算手段１３は、二値化された複数の画像データ間で変化するスパッタ領域候補を含んだスパッタ範囲を抽出可能とするように、二値化された画像データを当該画像データの前に又は次に取り込んだ画像データに対してＸＯＲ演算処理するようになっている。画像処理部４はノイズ処理手段１４を有しており、ノイズ処理手段１４は、ＸＯＲ演算処理された複数の画像データに含まれるノイズを除去するようになっている。画像処理部４は移動スパッタ判定手段１５を有しており、移動スパッタ判定手段１５は、スパッタ領域候補が細長形状の移動スパッタに相当する移動スパッタ領域Ｎ１であるか否かを判定するようになっている。画像処理部４は代表中心点算出要素１６を有しており、代表中心点算出要素１６は、図１１（ｆ）に示すように、スパッタ領域候補が移動スパッタ領域Ｎ１であると判定された場合に、移動スパッタ領域Ｎ１の代表中心点ｒ１を算出するようになっている。
【００４３】
再び図７を参照すると、画像処理部４は中心線形成手段１７を有しており、中心線形成手段１７は、図１１（ｆ）に示すように、複数の代表中心点ｒ１に基づいた線分近似フィッティングによって、移動スパッタ領域Ｎ１の幅中心を通る中心線Ｒ１を算出するようになっている。一例として、線分近似フィッティングには一次関数が用いられるとよい。この一次関数は、複数の代表中心点ｒ１がＸＹ座標上に位置する場合、次のような式に基づいて定義されるとよい。複数の代表中心点ｒ１におけるＸ座標の最大値をＸｍａｘとし、複数の代表中心点ｒ１におけるＸ座標の最小値をＸｍｉｎとした場合、Ｘ座標の変化量はＤＸ＝Ｘｍａｘ−Ｘｍｉｎとなる。複数の代表中心点ｒ１におけるＹ座標の最大値をＹｍａｘとし、複数の代表中心点ｒ１におけるＹ座標の最小値をＹｍｉｎとした場合、Ｙ座標の変化量をＤＹ＝Ｙｍａｘ−Ｙｍｉｎとなる。ＤＸがＤＹ以上の場合、一次関数は、Ｙ＝ａＸ＋ｂ（ａ，ｂは係数）によって定義される一方で、ＤＸがＤＹより小さい場合、一次関数は、Ｘ＝ａＹ＋ｂ（ａ，ｂは係数）によって定義される。
【００４４】
図７を参照すると、画像処理部４は移動スパッタ記憶手段１８を有しており、移動スパッタ記憶手段１８は中心線Ｒ１を算出した移動スパッタ領域を含んだスパッタ範囲を記憶するようになっている。一例として、記憶される中心線Ｒ１は、ａＸ＋ｂＹ＋ｃ＝０（ａ，ｂ，ｃは係数）によって定義される一次関数として記憶されるとよい。画像処理部４は移動スパッタ除去手段１９を有しており、移動スパッタ除去手段１９は記憶したスパッタ範囲を画像データから除去するようになっている。画像処理部４は静止スパッタ判定要素２０を有しており、静止スパッタ判定要素２０は、移動スパッタ判定手段１５によってスパッタ領域候補が移動スパッタ領域Ｎ１でないと判定された場合に、スパッタ領域候補が静止スパッタに相当する静止スパッタ領域Ｎ２であるか否かを判定するようになっている。画像処理部４は代表中心点算出手段２１を有しており、代表中心点算出手段２１は、図１２に示すように、静止スパッタ領域Ｎ２の図心を代表中心点ｒ２として算出するようになっている。再び図７を参照すると、画像処理部４は静止スパッタ記憶手段２２を有しており、静止スパッタ記憶手段２２は、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定された場合、静止スパッタ領域Ｎ２を含んだスパッタ範囲を記憶するようになっている。画像処理部４は静止スパッタ除去手段２３を有しており、静止スパッタ除去手段２３は、記憶したスパッタ範囲を除去するようになっている。
【００４５】
図７及び図１１（ａ）〜図１１（ｆ）を参照して、代表中心点算出要素１６の詳細を説明する。図７を参照すると、代表中心点算出要素１６は楕円形成手段２４を有しており、楕円形成手段２４は、図１１（ａ）に示すように、画像上に楕円形状の明領域であるカット用楕円領域Ｚを形成するようになっている。図７を参照すると、代表中心点算出要素１６は方向転換手段２５を有しており、方向転換手段２５は、図１１（ｂ）に示すように、カット用楕円領域Ｚを、その長径方向を移動スパッタ領域の長手方向に対して直交するように方向転換するようになっている。図７を参照すると、代表中心点算出要素１６は楕円移動手段２６を有しており、楕円移動手段２６は、図１１（ｃ）に示すように、カット用楕円領域Ｚの図心Ｃｚと移動スパッタ領域Ｎ１の図心Ｃｎ１とを一致させるようになっている。図７を参照すると、代表中心点算出要素１６は二値化データ逆転手段２７を有しており、二値化逆転手段２７は、カット用楕円領域Ｚを表す二値化データを、移動スパッタ領域Ｎ１を表す二値化データに対して反対に変換するようになっている。図７を参照すると、代表中心点算出要素１６はＡＮＤ演算手段２８を有しており、ＡＮＤ演算手段２８は、図１１（ｄ）に示すように、移動スパッタ領域Ｎ１を分離するように、カット用楕円領域Ｚの二値化データと移動スパッタ領域Ｎ１の二値化データとの間でＡＮＤ演算処理を実施するようになっている。図７を参照すると、代表中心点算出要素１６は代表中心点定義手段２９を有しており、代表中心点定義手段２９は、図１１（ｅ）に示すように、分離前の移動スパッタ領域Ｎ１の図心Ｃｎ１、及び分離された移動スパッタ領域Ｎ１’のそれぞれの図心Ｃｎ１’を代表中心点ｒ１として算出するようになっている。図１１（ｆ）に示すように、このように算出された代表中心点ｒ１に基づいて、中心線Ｒ１が形成されることとなる。
【００４６】
図７及び図１２を参照して、静止スパッタ判定要素１９の詳細を説明する。図７を参照すると、静止スパッタ判定要素１９は距離判定手段２９を有しており、距離判定手段２９は、図１２に示すように、ビード領域Ｅの周縁とスパッタ領域候補の周縁との間における最短距離ｄが所定の長さ以上である場合に、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定するようになっている。一例として、このような所定の長さの下限値は、ビードｍの一部であるか否かが明確になる条件として、予め定められたビードｍの幅、又は算出されたビード領域Ｅの幅であるとよい。また、一例として、所定の長さの上限値は、ビード領域Ｅから取り込まれた画像の周縁までの最大長さであるとよい。図７を参照すると、静止スパッタ判定要素２０は形状判定手段３１を有しており、形状判定手段３１は、スパッタ領域候補が等方的な形状である場合に、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定するようになっている。スパッタ領域候補が等方的な形状であるか否かの判断基準の一例として、スパッタ領域候補のアスペクト比が、１／２以上かつ２以下に設定されているとよい。
【００４７】
ここで、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法を説明する。最初に、画像取り込み装置２における画像取り込み方法について説明する。画像取り込み装置２のレーザ照射部６において、レーザ発振器６ａがレーザ光Ｌ１を発射する。レーザ発振器６ａから発射されたレーザ光Ｌ１は、ハーフミラー６ｂを通過し、かつ溶接用集光ミラー６ｃによって集光された後に、溶接部材Ｍの溶接領域Ｊに照射される。その後、溶接部材Ｍの溶接領域Ｊに照射されたレーザ光Ｌ１によりビードｍを形成した部分から残熱発光が出射してモニタリング光Ｌ２となる。このモニタリング光Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られる。
【００４８】
画像取り込み装置２のモニタ部７において、レーザ照射部６から送られたモニタリング光Ｌ２は、ミラー７ａによって角度を変えられた後に、倍率調整レンズ７ｂに送られる。モニタリング光Ｌ２が倍率調整レンズ６ｂを通過する際、その倍率が調整される。倍率調整レンズ７ｂにより倍率調整されたモニタリング光Ｌ２は、Ｓｉ用ロングパスフィルタ７ｃに送られる。Ｓｉ用ロングパスフィルタ７ｃにおいて、モニタリング光Ｌ２の８００ｎｍより小さな波長成分が遮断され、かつモニタリング光Ｌ２の８００ｎｍより大きな波長成分がＳｉ用ロングパスフィルタ７ｃを透過する。Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２は、ＮＤフィルタ７ｄに送られる。ＮＤフィルタ７ｄにおいて、モニタリング光Ｌ２の光の量が、画像処理装置３の画像処理部４によってビードｍの形状を明確に認識可能とするように減少する。ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２は、撮像用集光レンズ７ｅに送られる。撮像用集光レンズ７ｅにおいて、モニタリング光Ｌ２が集光される。撮影用集光レンズ７ｅにより集光されたモニタリング光Ｌ２は、Ｓｉ系撮像素子７ｆに照射される。Ｓｉ系撮像素子７ｆにおいて、モニタリング光Ｌ２における８００ｎｍ〜１１００ｎｍの波長範囲の成分が感知され、感知されたモニタリング光Ｌ２がアナログ電気信号に変換され、このアナログ電気信号はアンプ７ｇに送られる。アンプ７ｇにおいて、アナログ電気信号は増幅され、増幅されたアナログ電気信号はＡ／Ｄ変換器７ｈに送られる。Ａ／Ｄ変換器７ｈにおいて、アナログ電気信号はデジタル電気信号に変換され、このデジタル電気信号は記憶部８に送られる。記憶部８において、デジタル電気信号は１つの画像として記憶される。このようにＳｉ系撮像素子７ｆにモニタリング光Ｌ２を照射し、Ｓｉ系撮像素子７ｆによりモニタリング光Ｌ２をアナログ電気信号に変換し、Ａ／Ｄ変換器７ｈによりアナログ電気信号をデジタル電気信号に変換し、かつこのデジタル電気信号を１つの画像として記憶する動作は、５０Ｈｚより大きくかつ１０００Ｈｚより小さなフレームレートに基づいて連続的に実施される。さらに、記憶部８に記憶された画像は画像取り込み部９に取り込まれる。
【００４９】
次に、ビード領域Ｅの認識方法について説明する。画像取り込み装置２の画像取り込み部８に取り込んだ画像に基づいて、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっているビード領域候補を認識する。ここで、複数のビード領域候補が認識された場合に、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを判別する。
【００５０】
さらに、図１３のフローチャートを参照して、スパッタの除去方法について説明する。取り込んだ複数の画像データのそれぞれを、所定の二値化閾値にて二値化する（Ｓ１）。二値化された複数の画像データ間で変化しているスパッタ領域候補を含んだスパッタ範囲を抽出するように、二値化された画像データを該画像データの前に又は次に取り込んだ画像データに対してＸＯＲ演算処理する（Ｓ２）。ＸＯＲ演算処理を実施した画像データのノイズを除去する（Ｓ３）。スパッタ領域候補が、細長形状の移動スパッタに相当する移動スパッタ領域Ｎ１であるか否かを判定する（Ｓ４）。スパッタ領域候補が移動スパッタ領域Ｎ１であると判定された場合（ＹＥＳ）、移動スパッタ領域Ｎ１の代表中心点ｒ１を算出する（Ｓ５）。算出された代表中心点ｒ１に基づいた一次関数フィッティングによって、移動スパッタ領域Ｎ１の幅中心を通る中心線Ｒ１を形成する（Ｓ６）。中心線Ｒ１を算出した移動スパッタ領域Ｎ１を含むスパッタ範囲を記憶し（Ｓ７）、記憶されたスパッタ範囲を除去し（Ｓ８）、スパッタ除去を終了する。
【００５１】
その一方で、スパッタ領域候補が移動スパッタ領域Ｎ１でないと判定された場合（ＮＯ）、スパッタ領域候補が静止スパッタに相当する静止スパッタ領域Ｎ２であるか否かを判定する（Ｓ９）。スパッタ領域候補が静止スパッタ領域Ｎ２であると判定された場合（ＹＥＳ）、静止スパッタ領域Ｎ２の図心を代表中心点ｒ２として算出する（Ｓ１０）。代表中心点ｒ２を算出したスパッタ範囲を記憶し（Ｓ１１）、記憶したスパッタ範囲を除去し（Ｓ１２）、スパッタ除去を終了する。一方で、スパッタ領域候補が静止スパッタ領域Ｎ２でないと判定された場合（ＮＯ）、そのままスパッタ除去を終了する。
【００５２】
図１４のフローチャートを参照して、移動スパッタ領域Ｎ１の代表中心点ｒ１の算出について詳細を説明する。画像上に楕円形状の明領域であるカット用楕円領域Ｚを形成する（Ｓ２１）。カット用楕円領域Ｚを、その長径方向を移動スパッタ領域Ｎ１の長手方向に対して直交するように方向転換する（Ｓ２２）。カット用楕円領域Ｚの図心Ｃｚと移動スパッタ領域Ｎ１の図心Ｃｎ１とを一致させる（Ｓ２３）。カット用楕円領域Ｚの二値化データを逆転させる（Ｓ２４）。移動スパッタ領域Ｎ１を分離するように、カット用楕円領域Ｚの二値化データと移動スパッタ領域Ｎ１の二値化データとの間でＡＮＤ演算処理を実施する（Ｓ２５）。ＡＮＤ演算処理により分離された移動スパッタ領域Ｎ１’のそれぞれの図心Ｃｎ１’を算出する（Ｓ２６）。分離前の移動スパッタ領域Ｎ１の図心Ｃｎ１、及び分離された移動スパッタ領域Ｎ１’のそれぞれの図心Ｃｎ１’を代表中心点ｒ１として定義する（Ｓ２７）。
【００５３】
図１５のフローチャートを参照して、静止スパッタ領域Ｎ２の判定について詳細を説明する。スパッタ領域候補の周縁とビード領域Ｅの周縁との間における最短距離ｄを算出する（Ｓ３１）。算出した最短距離ｄが所定の長さ以上であるか否かを判定する（Ｓ３２）。最短距離ｄが所定の長さ以上であった場合（ＹＥＳ）、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定し（Ｓ３３）、静止スパッタ領域Ｎ２の判定を終了する。
【００５４】
その一方で、最短距離ｄが所定の長さより小さかった場合（ＮＯ）、スパッタ領域候補が等方的形状であるか否かを判定する（Ｓ３４）。スパッタ領域候補が等方的形状である場合（ＹＥＳ）、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定し（Ｓ３３）、静止スパッタ領域Ｎ２の判定を終了する。スパッタ領域候補が等方的形状でない場合（ＮＯ）、スパッタ領域候補が静止スパッタ領域Ｎ２でないと判定し（Ｓ３５）、静止スパッタ領域Ｎ２の判定を終了する。
【００５５】
以上のように本実施形態によれば、画像上の移動スパッタ領域Ｎ１が除去されて、移動スパッタの影響を受けずにビードｍの形状を正確に認識することができる。特に、移動スパッタがビードｍと重なった場合、移動スパッタがビードｍに重なるタイミング前後の画像を用いることによって、ビードｍの形状を正確に認識することができる。また、移動スパッタ領域Ｎ１が画像データから除去されて、ビードｍの形状認識に必要とされる画像データのみが画像処理されることになるので、画像処理の計算負荷を低減することができる。
【００５６】
本実施形態によれば、上述のように、線分近似フィッティングに用いられる移動スパッタ領域Ｎ１の代表中心点ｒ１が簡単に算出されて、画像処理の計算負荷を低減することができる。
【００５７】
本実施形態によれば、画像上の静止スパッタ領域Ｎ２が除去されて、静止スパッタの影響を受けずにビードｍの形状を正確に認識することができる。また、静止スパッタ領域Ｎ２が画像データから除去されて、ビードｍの形状認識に必要とされる画像データのみが画像処理されることになるので、画像処理の計算負荷を低減することができる。
【００５８】
本実施形態によれば、スパッタ領域候補が静止スパッタ領域Ｎ２であるか否かの判定では、スパッタ領域候補とビードｍに相当するビード領域Ｅとの間の最短距離ｄが所定の長さ以上である場合に、前記スパッタ領域候補が前記静止スパッタ領域であると判定する。また、スパッタ領域候補が静止スパッタ領域Ｎ２であるか否かの判定では、スパッタ領域が等方的形状である場合に、スパッタ領域候補が静止スパッタ領域Ｎ２であると判定する。そのため、静止スパッタ領域Ｎ２が正確に判別されて、静止スパッタ領域Ｎ２を確実に除去できる。よって、ビードｍの形状を正確に認識することができる。
【００５９】
［第２実施形態］
本発明の第２実施形態に係る画像処理システムについて以下に説明する。第２実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００６０】
本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃの代わりに、後述するインジウムガリウムヒ素系の半導体から作製された撮像素子（以下、「ＩｎＧａＡｓ系撮像素子」という）に対応するＩｎＧａＡｓ用ロングパスフィルタが設けられている。ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍ以上の波長範囲で光を透過するように構成されている。本実施形態では、第１実施形態のＳｉ系撮像素子７ｆの代わりに、ＩｎＧａＡｓ系撮像素子が設けられている。ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２６００ｎｍの波長範囲において光に対する感度を有している。ＩｎＧａＡｓ系撮像素子は、撮像器６ｆに送られたモニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、ＩｎＧａＡｓ系撮像素子の撮像面の条件は、第１実施形態におけるＳｉ系撮像素子７ｆの撮像面の条件と同様になっている。
【００６１】
ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲について説明する。上述したように、レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。また、レーザ等の発光は、１０６０ｎｍ付近の波長成分を含んでいるので、ＩｎＧａＡｓ系撮像素子に入力される光は、１０６０ｎｍ周辺の波長範囲を避けることが好ましい。
【００６２】
そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲は、１２００ｎｍ以上に定められている。そのため、ＩｎＧａＡｓ系撮像素子には、１２００ｎｍ以上の波長範囲で光が送られて、ＩｎＧａＡｓ系撮像素子は、入力される光を１２００ｎｍ〜２６００ｎｍの波長範囲で感知することとなる。なお、ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２６００ｎｍの波長範囲で光を感知できればよいので、例えば、ＩｎＧａＡｓ用ロングパスフィルタが、１３００ｎｍ、１４００ｎｍ、１５００ｎｍ、１６００ｎｍ、１７００ｎｍ、１８００ｎｍ、又は１９００ｎｍより小さな波長の光を遮断するように構成されていてもよい。
【００６３】
また、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。
【００６４】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００６５】
［第３実施形態］
本発明の第３実施形態に係る画像処理システムについて以下に説明する。第３実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００６６】
本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃの代わりに、Ｓｉ用バンドパスフィルタが設けられている。Ｓｉ用バンドパスフィルタは、８００ｎｍ以上かつ１０５０ｎｍ以下の波長範囲で光を透過するように構成されている。
【００６７】
Ｓｉ用バンドパスフィルタを透過する光の波長範囲について説明する。Ｓｉ用バンドパスフィルタを透過する光の波長範囲の下限値は、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃを透過する光の波長範囲の下限値を８００ｎｍとしたことと同様の理由に基づいて、８００ｎｍに定められている。また、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、Ｓｉ用バンドパスフィルタを透過する光の波長範囲の上限値は、１０５０ｎｍに定められている。
【００６８】
本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。
【００６９】
以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。
【００７０】
［第４実施形態］
本発明の第４実施形態に係る画像処理システムについて以下に説明する。第４実施形態は、基本的には、第２実施形態と同様になっている。第２実施形態と同様な要素は、第２実施形態と同様の符号および名称を用いて説明する。ここでは、第２実施形態と異なる構成について説明する。
【００７１】
本実施形態では、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタの代わりに、ＩｎＧａＡｓ用バンドパスフィルタが設けられている。ＩｎＧａＡｓ用バンドパスフィルタは、１２００ｎｍ以上かつ２０００ｎｍ以下の波長範囲で光を透過するように構成されている。
【００７２】
ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲について説明する。ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の下限値は、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲の下限値を１２００ｎｍとしたことと同様の理由に基づいて、１２００ｎｍに定められている。また、長波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は２６００ｎｍとされ、短波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は１７００ｎｍとされている。さらに、短波長高感度タイプのＩｎＧａＡｓ系撮像素子は、そのバンドギャップが緩やかに減少するために、１７００ｎｍ〜２０００ｎｍの範囲においても一定の感度（応答性能）を有している。そのため、長波長高感度タイプ、短波長高感度タイプ等のあらゆるＩｎＧａＡｓ系撮像素子に対応すべく、ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の上限値は２０００ｎｍに定められている。
【００７３】
以上のように本実施形態によれば、第２実施形態と同様の効果が得られる。
【００７４】
ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【００７５】
例えば、本発明の第１変形例として、画像取り込み部３が、レーザ溶接以外の溶接を撮影かつ取り込むように構成されていてもよい。例えば、レーザ溶接以外の溶接は、アーク溶接、エレクトロスラグ溶接、電子ビーム溶接等であるとよい。
【００７６】
本発明の第２変形例として、画像取り込み部３が、溶接時の残熱発光以外のレーザによる発光を撮影かつ取り込むように構成されていてもよい。また、画像取り込み部３が、レーザ溶接以外の溶接を撮影かつ取り込む場合には、溶接時の残熱発光以外の発光を撮影かつ取り込むように構成されていてもよい。
【符号の説明】
【００７７】
１  画像処理システム
３  画像処理装置
４  画像処理部
１２  二値化手段
１３  ＸＯＲ演算手段
１５  移動スパッタ判定手段
１６  代表中心点算出要素
１７  中心線形成手段
１８  移動スパッタ記憶手段
１９  移動スパッタ除去手段
２０  静止スパッタ判定要素
２１  代表中心点算出手段
２２  静止スパッタ記憶手段
２３  静止スパッタ除去手段
２４  楕円形成手段
２５  方向転換手段
２６  楕円移動手段
２７  二値化データ逆転手段
２８  ＡＮＤ演算手段
２９  代表点定義手段
３０  距離判定手段
３１  形状判定手段
Ｍ  溶接部材
Ｊ  溶接領域
ｍ  ビード
ｍ１  接合始端部分（始端部分）
ｍ２  接合終端部分（終端部分）
ｍ３  接合中間部分（中間部分）
Ｌ１  レーザ光
Ｌ２  モニタリング光
θ１，θ２  角度
Ｇ  平均輝度
ｇ１  開始輝度閾値
ｇ２  終了輝度閾値
ｔ  時間
Ｅ  ビード領域
Ｅ１  始端部分
Ｅ２  終端部分
Ｅ３  中間部分
ｅ  ビード領域点
Ｎ１  移動スパッタ領域
Ｎ２  静止スパッタ領域
Ｚ  カット用楕円領域
Ｃｎ１，Ｃｎ１’，Ｃｚ  図心
ｒ１，ｒ２  代表中心点
Ｒ１  中心線
ｄ  最短距離
Ａ１  実線
Ａ２  破線
Ａ３  一点鎖線
Ｓ１〜Ｓ１２，Ｓ２１〜Ｓ２７，Ｓ３１〜Ｓ３５  ステップ
【図１】
2014014857.tif 000005
【図２】
2014014857.tif 000006
【図３】
2014014857.tif 000007
【図４】
2014014857.tif 000008
【図５】
2014014857.tif 000009
【図６】
2014014857.tif 000010
【図７】
2014014857.tif 000011
【図８】
2014014857.tif 000012
【図９】
2014014857.tif 000013
【図１０】
2014014857.tif 000014
【図１１】
2014014857.tif 000015
【図１２】
2014014857.tif 000016
【図１３】
2014014857.tif 000017
【図１４】
2014014857.tif 000018
【図１５】
2014014857.tif 000019