(57)【要約】【課題】判定の精度を向上できる、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係る判定装置は、処理部を備える。処理部は、溶接時の溶接箇所を撮影した第１画像が入力されると、画像が適切か判定するための第１モデルに前記第１画像を入力する。処理部は、前記第１モデルによって前記第１画像が適切と判定されたときには、前記第１画像を用いて溶接の適否を判定し、前記第１モデルによって前記第１画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する。【選択図】図１
2020182966.tif 000002
【特許請求の範囲】
【請求項１】
溶接時の溶接箇所を撮影した第１画像が入力されると、画像が適切か判定するための第１モデルに前記第１画像を入力し、
前記第１モデルによって前記第１画像が適切と判定されたときには、前記第１画像を用いて溶接の適否を判定し、前記第１モデルによって前記第１画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する、
処理部を備えた判定装置。
【請求項２】
前記処理部は、前記第１モデルによって前記第１画像が適切と判定されたときに、画像から溶接に関する特徴を抽出するための第２モデルに前記第１画像を入力し、前記第２モデルによって抽出された第１特徴を用いて溶接の適否を判定する請求項１記載の判定装置。
【請求項３】
前記処理部は、前記第１特徴と、前記第１特徴を補正して得られた第２特徴と、の差を用いて、前記第２モデルの性能を評価する請求項２記載の判定装置。
【請求項４】
前記処理部は、前記差が予め設定された第１閾値よりも大きいとき、前記第２モデルの再学習又は交換を要求する情報を出力する請求項３記載の判定装置。
【請求項５】
前記処理部は、溶接に関する特徴から溶接の適否を判定するための第３モデルに前記第１特徴を入力することで、前記第１画像に写された溶接の適否を判定する請求項２〜４のいずれか１つに記載の判定装置。
【請求項６】
前記第３モデルは、溶接が不適切と判定されたとき、溶接条件の補正量をさらに出力する請求項５記載の判定装置。
【請求項７】
前記第２モデルは、画像を補正し、且つ補正された画像に対する特徴を出力可能である請求項２〜６のいずれか１つに記載の判定装置。
【請求項８】
前記補正は、画像の回転、拡大、縮小、又はコントラスト調整を含む請求項７記載の判定装置。
【請求項９】
前記補正は、欠陥、傷、又はビード痕の除去を含む請求項７又は８に記載の判定装置。
【請求項１０】
前記補正は、ビード幅の拡大又は縮小を含む請求項７〜９のいずれか１つに記載の判定装置。
【請求項１１】
請求項２〜１０のいずれか１つに記載の判定装置と、
前記第２モデルを学習させる学習装置と、
を備え、
前記学習装置は、
複数の入力画像と、複数の教師画像と、を用いて前記第２モデルを学習させる第１動作と、
別の入力画像と、前記別の入力画像を前記第２モデルに入力し、前記第２モデルから出力された出力画像を補正して得られた補正画像と、を用いて前記第２モデルを学習させる第２動作と、
を実行する判定システム。
【請求項１２】
請求項１〜１０のいずれか１つに記載の判定装置と、
前記第１画像を取得する撮像部を含む溶接装置と、
を備えた溶接システム。
【請求項１３】
溶接時の溶接箇所を撮影した第１画像を、画像が適切か判定するための第１モデルに入力し、
前記第１モデルによって前記第１画像が適切と判定されたときには、前記第１画像を用いて溶接の適否を判定し、前記第１モデルによって前記第１画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する、
判定方法。
【請求項１４】
処理部に、
溶接時の溶接箇所を撮影した第１画像を、画像が適切か判定するための第１モデルに入力させ、
前記第１モデルによって前記第１画像が適切と判定されたときには、前記第１画像を用いて溶接の適否を判定させ、前記第１モデルによって前記第１画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力させる、
プログラム。
【請求項１５】
請求項１４記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
溶接の質を判定する判定装置がある。判定の精度は、高いことが望ましい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１９２５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、判定の精度を向上できる、判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る判定装置は、処理部を備える。処理部は、溶接時の溶接箇所を撮影した第１画像が入力されると、画像が適切か判定するための第１モデルに前記第１画像を入力する。処理部は、前記第１モデルによって前記第１画像が適切と判定されたときには、前記第１画像を用いて溶接の適否を判定し、前記第１モデルによって前記第１画像が不適切と判定されたときには、前記溶接箇所の撮影条件を補正するための情報を出力する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係る判定装置を備えた溶接システムの構成を例示する模式図である。
【図２】実施形態に係る判定装置の機能構成を例示する模式図である。
【図３】実施形態に係る溶接システムの動作を例示するフローチャートである。
【図４】第１実施例における溶接工程を例示する模式図である。
【図５】第１実施例において得られる画像の一例である。
【図６】第１実施例において得られる画像の一例である。
【図７】第２実施例における溶接工程を例示する模式図である。
【図８】第２実施例において得られる画像の一例である。
【図９】第３実施例における溶接工程を例示する模式図である。
【図１０】第３実施例において得られる画像の一例である。
【図１１】第３実施例において得られる画像の一例である。
【図１２】実施形態の第１変形例に係る判定装置の機能構成を例示する模式図である。
【図１３】実施形態の第２変形例に係る判定装置の機能構成を例示する模式図である。
【図１４】実施形態の第２変形例に係る判定装置による処理を例示する画像である。
【図１５】実施形態の第２変形例に係る判定装置による処理を例示する画像である。
【図１６】実施形態の第２変形例に係る判定装置による処理を例示する画像である。
【図１７】実施形態の第３変形例に係る判定装置の機能構成を例示する模式図である。
【図１８】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図１９】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図２０】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図２１】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図２２】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図２３】実施形態の第３変形例に係る判定装置による処理を例示する画像である。
【図２４】実施形態に係る判定装置を備えた別の溶接システムを例示する模式図である。
【図２５】学習装置の動作を例示するフローチャートである。
【図２６】実施形態に係る判定装置のハードウェア構成を例示する模式図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
図１は、実施形態に係る判定装置を備えた溶接システムの構成を例示する模式図である。
溶接システム１は、判定装置１０、溶接装置２０、及び記憶装置３０を備える。
【０００９】
溶接装置２０は、２つ以上の部材を溶接して一体化する。溶接装置２０は、例えば、アーク溶接又はレーザ溶接を実行する。アーク溶接は、具体的には、Tungsten Inert Gas（ＴＩＧ）溶接、Metal Inert Gas（ＭＩＧ）溶接、Metal Active Gas（ＭＡＧ）溶接、又は炭酸ガスアーク溶接などである。ここでは、主に、溶接装置２０がＴＩＧ溶接を行う例について説明する。
【００１０】
溶接装置２０は、例えば、ヘッド２１、アーム２２、電力供給部２３、ガス供給部２４、ワイヤ２５、撮像部２６、照明部２７、及び制御部２８を含む。
【００１１】
ヘッド２１には、タングステン製の電極２１ａが設けられている。電極２１ａの先端は、ヘッド２１から露出している。例えば、ヘッド２１は、複数のリンクを含む多関節のアーム２２に取り付けられる。又は、ヘッド２１は、作業者が把持する溶接トーチに設けられても良い。
【００１２】
電力供給部２３は、電極２１ａ及び溶接対象Ｓと電気的に接続される。電力供給部２３によって電極２１ａと溶接対象Ｓとの間に電圧が印加され、アーク放電が生じる。電極２１ａ及び溶接対象Ｓの一方が共通電位（例えばグランド電位）に設定され、電力供給部２３は電極２１ａ及び溶接対象Ｓの他方の電位のみを制御しても良い。
【００１３】
ガス供給部２４は、ヘッド２１に接続される。ガス供給部２４は、ヘッド２１に不活性ガスを供給する。又は、ガス供給部２４は、不活性ガスと活性ガスの混合ガスを供給しても良い。ヘッド２１に供給されたガスは、電極２１ａが露出したヘッド２１の先端から、溶接対象Ｓに向けて吹き付けられる。
【００１４】
ワイヤ２５の先端は、アーク放電が生じている空間に配される。アーク放電によりワイヤ２５の先端が溶融し、溶接対象Ｓに滴下する。溶融したワイヤ２５が凝固することで、溶接対象Ｓが溶接される。ワイヤ２５は、例えば、アーム２２に対して固定され、溶融の進行に合わせて自動で供給される。
【００１５】
撮像部２６は、溶接時に、溶接が行われている箇所を撮影する。撮像部２６は、溶接箇所を撮影して静止画を取得する。又は、撮像部２６は、動画を撮影しても良い。撮像部２６は、動画の一部を切り出して静止画を取得する。撮像部２６は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサを含むカメラである。
【００１６】
照明部２７は、撮像部２６によってより鮮明な画像が得られるように、溶接時の溶接箇所を照らす。溶接箇所を照らさなくても後述する判定に使用できる画像が得られるのであれば、照明部２７は設けられていなくても良い。
【００１７】
制御部２８は、溶接装置２０の上述した各構成要素の動作を制御する。例えば、制御部２８は、アーム２２を駆動させながらアーク放電を発生させ、溶接対象Ｓを所定の方向に沿って溶接していく。また、制御部２８は、撮像部２６の設定、照明部２７の設定などを制御しても良い。
【００１８】
制御部２８は、撮像部２６が取得した画像を記憶装置３０に記憶する。例えば、制御部２８は、撮影した画像と、撮影時の溶接条件と、撮影時の撮影条件と、を関連付けて記憶装置３０に記憶する。
【００１９】
溶接条件は、例えば、印加電圧、ガス流量、電流値、ワイヤ供給速度、又は溶接速度を含む。撮影条件は、例えば、露光時間、絞り、又は感度（ＩＳＯ）などの撮像部２６の設定を含む。撮影条件は、照明部２７の設定を含んでも良い。例えば、照明部２７へパルス電流が供給されるときには、撮影条件は、パルス幅、パルス周波数、デューティ比、又はピーク値をさらに含む。なお、ここでは、複数の項目が「又は」によって接続されて列挙されているときには、それらの項目の全てが含まれても良いし、それらの項目の一部のみが含まれても良いことを意味する。
【００２０】
図２は、実施形態に係る判定装置の機能構成を例示する模式図である。
判定装置１０は、処理部１１を含む。処理部１１は、例えば、入力部１１ａ、第１判定部１１ｂ、抽出部１１ｃ、第２判定部１１ｄ、及び出力部１１ｅを含む。
【００２１】
判定装置１０は、溶接装置２０及び記憶装置３０と有線接続又は無線接続される。判定装置１０は、溶接装置２０及び記憶装置３０とネットワークを介して接続されても良い。判定装置１０、溶接装置２０、及び記憶装置３０が、１つの装置に組み込まれても良い。
【００２２】
入力部１１ａは、記憶装置３０にアクセスし、記憶装置３０に記憶された画像ＩＭを取得する。又は、制御部２８から処理部１１へ、画像が直接送信されても良い。入力部１１ａは、制御部２８から送られたデータを受け付ける。
【００２３】
入力部１１ａに溶接時の画像が入力されると、第１判定部１１ｂは、学習済みの第１モデルＭ１を参照する。第１モデルＭ１は、溶接時に撮影された画像が適切か判定するために用いられる。第１判定部１１ｂは、学習済みの第１モデルＭ１に画像を入力し、画像が適切か判定する。第１モデルＭ１によって画像が不適切と判定されるとき、第１モデルＭ１は、撮影条件を補正するための情報をさらに出力する。
【００２４】
例えば、第１モデルＭ１は、ニューラルネットワークである。第１モデルＭ１は、学習データを用いて予め学習される。学習データは、溶接時に撮影された複数の画像と、複数のラベルと、を含む。複数のラベルは、複数の画像が適切かどうかをそれぞれ示す。また、複数のラベルは、適切では無い画像について、それらの画像がどのように不適切かを示す。
【００２５】
例えば、第１モデルＭ１によって画像が暗すぎ又は明るすぎないか判定される。第１モデルＭ１によって画像が暗すぎる又は明るすぎると判定されると、第１判定部１１ｂは、そのことを示す情報を出力する。第１モデルＭ１は、より適切な画像を撮影するための、撮影条件の具体的な補正量を出力しても良い。
【００２６】
一例として、第１モデルＭ１によって、画像が明るすぎると判定され、そのことを示す情報が出力される。出力部１１ｅは、その情報を制御部２８へ送信する。制御部２８は、情報を受信すると、画像がより暗くなるように、撮影条件を変更する。例えば、制御部２８は、露光時間の短縮、絞りの増大、感度の低減、パルス幅の短縮、パルス周波数の低減、デューティ比の低減、又はピーク値の低減を実行する。制御部２８は、変更した撮影条件で、再度、溶接時の溶接個所を撮影する。
【００２７】
第１モデルＭ１によって画像が適切と判定されると、抽出部１１ｃは、学習済みの第２モデルＭ２を参照する。第２モデルＭ２は、画像から溶接に関する特徴を抽出するために用いられる。例えば、第２モデルＭ２は、ニューラルネットワークである。第２モデルＭ２は、学習データを用いて予め学習される。学習データは、適切な複数の画像と、それらの画像に基づく特徴をそれぞれ示す複数の画像と、を含む。
【００２８】
抽出部１１ｃは、学習済みの第２モデルＭ２に画像を入力し、溶接に関する特徴を抽出する。特徴が抽出されると、第２判定部１１ｄは、学習済みの第３モデルＭ３を参照する。第３モデルＭ３は、溶接が適切か判定するために用いられる。第３モデルＭ３は、記憶装置３０又は他の記憶装置に記憶される。第２判定部１１ｄは、特徴を示す画像を第３モデルＭ３に入力し、その画像が示す溶接が適切か判定する。
【００２９】
例えば、第３モデルＭ３は、ニューラルネットワークである。第３モデルＭ３は、学習データを用いて予め学習される。学習データは、溶接に関する特徴を示す複数の画像と、それらの画像に示される溶接の適否をそれぞれ示す複数のラベルと、を含む。
【００３０】
第３モデルＭ３は、溶接が不適切と判定されるときに、溶接条件の補正量をさらに出力しても良い。この場合、学習データの各ラベルは、溶接の適否を示すとともに、不適切な溶接について補正量を示す。補正量が示されたラベルを用いて学習させることで、第３モデルＭ３から溶接条件の補正量を出力できるようになる。
【００３１】
又は、第３モデルＭ３は、溶接の適否では無く、補正量のみを出力するように学習されても良い。この場合、第３モデルＭ３によって出力された補正量がゼロ又は微小であるときは、第３モデルＭ３によって溶接が適切と判定されているとみなすことができる。
【００３２】
出力部１１ｅは、第２判定部１１ｄによる判定結果を外部に出力する。例えば、第３モデルＭ３によって補正量が出力されるとき、出力部１１ｅは、その補正量を制御部２８へ送信する。制御部２８は、補正量に応じて、溶接条件を変更する。
【００３３】
一例として、溶接の位置が標準の位置からずれているときには、第３モデルＭ３によってその溶接は不適切と判定される。溶接の位置は、電極２１ａの位置に対応する。この場合、第３モデルＭ３は、より適切な溶接のために、電極２１ａの位置の補正量を出力する。
【００３４】
出力部１１ｅは、判定結果と、判定に用いられた画像が得られたときの溶接条件と、を関連付けても良い。出力部１１ｅは、関連付けた情報ＩＮを記憶装置３０に記憶する。例えば、溶接装置２０は、溶接時に、記憶装置３０の情報ＩＮを参照する。溶接装置２０は、情報ＩＮに基づいて、より適切な溶接を実行できるように、溶接条件を調整する。
【００３５】
例えば、記憶装置３０には、複数の判定結果と、複数の溶接条件と、がそれぞれ関連付けられて記憶される。このような関連付けられた情報の集合は、プロセスマップと呼ばれる。判定結果と溶接条件が蓄積されていくことで、溶接装置２０により実行される溶接の質を向上させることができる。
【００３６】
実施形態の効果を説明する。
アーク溶接及びレーザ溶接では、溶接時に局所的に強い光が発生する。このため、撮影条件を適切に設定しないと、溶接の適否の判定に使用できる画像が得られない。また、開先幅、開先の形状、開先中の溶接位置、隅肉溶接時の部材形状などの溶接時の状況に応じても、得られる画像が変化する。従って、撮影された画像にばらつきが生じやすい。例えば、撮影された画像が明るすぎると、溶接の様子が画像に十分に表れず、画像に基づく溶接の適否を判定できない。
【００３７】
この課題について、実施形態では、判定装置１０の処理部１１が、撮像部２６により撮影された画像が適切か、第１モデルを用いて判定する。これにより、第１モデルによって適切と判定された画像のみを用いて、溶接の適否を判定できる。例えば、明るすぎる又は暗すぎる画像は、溶接の適否の判定に使用されない。この結果、溶接の適否をより精度良く判定できる。
【００３８】
さらに、処理部１１は、第１モデルによって画像が不適切と判定されたときに、撮影条件を補正するための情報を出力する。この情報に基づいて、撮像部２６による撮影条件が補正される。これにより、溶接の適否の判定に有用な画像が得られ易くなる。
【００３９】
また、処理部１１は、第１モデルによって画像が適切と判定されたときに、第２モデルを用いて、画像から溶接に関する特徴を抽出する。処理部１１は、抽出された特徴を用いて溶接の適否を判定する。具体的には、処理部１１は、抽出された特徴を第３モデルに入力することで、特徴で示される溶接の適否を判定する。この方法によれば、画像全体に基づいて溶接の適否を判定する場合に比べて、判定の精度を向上させることができる。
【００４０】
別の判定方法の例として、以下の方法がある。
記憶装置３０には、良好な溶接時の様子を予め撮影した比較画像が記憶される。処理部１１は、第１モデルによって画像が適切と判定されると、その画像と、比較画像と、を比べる。例えば、処理部１１は、それらの画像の類似性が高いとき、溶接が良好と判定する。類似性は、特徴量の差で表すことができる。処理部１１は、特徴量の差と予め設定された閾値とを比較することで、溶接の適否を判定する。
【００４１】
この方法によっても、溶接の適否を判定することが可能である。ただし、より望ましくは、処理部１１は、第２モデル及び第３モデルを用いて溶接の適否を判定する。第２モデルにより、画像から溶接に関する特徴が抽出されることで、溶接の適否をより精度良く判定できる。
【００４２】
図３は、実施形態に係る溶接システムの動作を例示するフローチャートである。
まず、撮像部２６が、溶接時の溶接箇所を撮影し、画像（第１画像）を取得する（ステップＳ１）。処理部１１の第１判定部１１ｂは、第１モデルを用いて、画像が適切か判定する（ステップＳ２）。画像が不適切であるとき、出力部１１ｅから制御部２８へ情報が送信され、撮影条件が補正される（ステップＳ３）。
【００４３】
画像が適切であるとき、抽出部１１ｃは、第２モデルを用いて画像から溶接に関する特徴（第１特徴）を抽出する（ステップＳ４）。第２判定部１１ｄは、第３モデルを用いて、その特徴で示される溶接の適否を判定する（ステップＳ５）。溶接が不適切であるとき、出力部１１ｅから制御部２８へ情報が送信され、溶接条件が補正される（ステップＳ６）。
【００４４】
溶接が適切と判定されたとき、又は溶接条件を補正した後、出力部１１ｅは、情報を出力する（ステップＳ７）。例えば、出力部１１ｅは、撮影された画像、撮影時の溶接条件、及び撮影時の撮影条件に、判定結果を関連付けて記憶装置３０に記憶する。
【００４５】
（第１実施例）
図４は、第１実施例における溶接工程を例示する模式図である。
図５（ａ）〜図５（ｉ）、図６（ａ）、及び図６（ｂ）は、第１実施例において得られる画像の一例である。
第１実施例では、図４に表した第１部材９１ａと第２部材９２ａをＴＩＧ溶接する。第１部材９１ａは、開先に設けられた第１壁面ＳＷ１を有する。第２部材９２ａは、開先に設けられた第２壁面ＳＷ２を有する。
【００４６】
第１壁面ＳＷ１と第２壁面ＳＷ２の間に電極２１ａの先端及びワイヤ２５の先端を配し、アーク放電を発生させる。ワイヤ２５が溶融し、溶融池ＷＰが形成される。溶融池ＷＰが凝固することで、第１部材９１ａと第２部材９２ａが溶接される。
【００４７】
撮像部２６は、図４に表した溶接時の様子を、溶融池ＷＰ、電極２１ａの先端、及びワイヤ２５の先端が見える角度から撮影する。撮像部２６により画像が取得されると、処理部１１の第１判定部１１ｂは、第１モデルを用いて画像が適切か判定する。
【００４８】
図５（ａ）〜図５（ｃ）は、暗すぎると判定された画像の例である。図５（ｄ）〜図５（ｆ）は、適切と判定された画像の例である。図５（ｇ）〜図５（ｉ）は、明るすぎると判定された画像の例である。
【００４９】
図５（ａ）〜図５（ｃ）に表した画像が第１モデルに入力されると、第１モデルは、画像が不適切であることを示す判定結果とともに、画像をより明るくするための撮影条件の補正量を出力する。図５（ｇ）〜図５（ｉ）に表した画像が第１モデルに入力されると、第１モデルは、画像が不適切であることを示す判定結果とともに、画像をより暗くするための撮影条件の補正量を出力する。
【００５０】
図６（ａ）は、第１モデルによって適切と判定された画像を表している。抽出部１１ｃは、図６（ａ）に表した画像を第２モデルに入力する。この結果、図６（ｂ）の画像中の破線ＢＬ及び点線ＤＬで示す線分が特徴として抽出される。図６（ｂ）の例では、抽出された線分を、図６（ａ）の画像に重ねて表示されている。この例に限らず、第２モデルＭ２は、元の画像を含まず、且つ抽出された線分のみを含む画像を出力しても良い。
【００５１】
図６（ｂ）に表した画像において、破線ＢＬは、それぞれ、第１壁面ＳＷ１及び第２壁面ＳＷ２に対応する。点線ＤＬは、溶融池ＷＰの端部に対応する。第２判定部１１ｄは、図６（ｂ）に表した画像を第３モデルに入力し、溶接の適否を判定する。
【００５２】
図６（ｂ）に表した画像では、点線ＤＬの両端が、それぞれ破線ＢＬに接している。これは、第１壁面ＳＷ１と第２壁面ＳＷ２との間の中央で溶接が行われていることを意味する。例えば、図６（ｂ）の画像で示される溶接は、適切と判定される。
【００５３】
一方、点線ＤＬの端部が破線ＢＬから離れている、又は破線ＢＬ同士を結ぶ方向において点線ＤＬの中央が破線ＢＬ同士の中心から外れていると、その溶接は不適切と判定される。例えば、第３モデルは、適切な位置で溶接されるように、電極２１ａの移動量を出力する。
【００５４】
（第２実施例）
図７は、第２実施例における溶接工程を例示する模式図である。
図８（ａ）及び図８（ｂ）は、第２実施例において得られる画像の一例である。
第２実施例では、図７に表した第１部材９１ｂと第２部材９２ｂをＭＩＧ溶接する。第１部材９１ｂ及び第２部材９２ａは、開先に設けられた第１壁面ＳＷ１及び第２壁面ＳＷ２をそれぞれ有する。
【００５５】
ワイヤ２５の先端は、電極２１ａから引き出され、第１壁面ＳＷ１と第２壁面ＳＷ２の間に配される。ワイヤ２５と溶接対象との間でアーク放電を発生させ、ワイヤ２５を溶融させる。これにより、溶融池ＷＰが形成され、第１部材９１ｂと第２部材９２ｂが溶接される。
【００５６】
撮像部２６は、図７に表した溶接時の様子を、溶融池ＷＰ及びワイヤ２５の先端が見える角度から撮影する。図８（ａ）は、第１モデルによって適切と判定された画像を表している。抽出部１１ｃは、図８（ａ）に表した画像を第２モデルに入力する。この結果、図８（ｂ）の画像中の破線ＢＬ、点線ＤＬ、及び鎖線ＣＬで示す線分が特徴として抽出される。
【００５７】
図８（ｂ）に表した画像において、破線ＢＬは、それぞれ、第１壁面ＳＷ１及び第２壁面ＳＷ２に対応する。点線ＤＬは、溶融池ＷＰの端部に対応する。鎖線ＣＬは、ワイヤ２５の先端に対応する。第２判定部１１ｄは、図８（ｂ）に表した画像を第３モデルに入力し、溶接の適否を判定する。
【００５８】
図８（ｂ）に表した画像では、破線ＢＬ同士を結ぶ方向において、点線ＤＬが破線ＢＬ同士の間の中央に位置している。例えば、図８（ｂ）の画像で示される溶接は、適切と判定される。
【００５９】
（第３実施例）
図９は、第３実施例における溶接工程を例示する模式図である。
図１０（ａ）〜図１０（ｄ）、図１１（ａ）、及び図１１（ｂ）は、第３実施例において得られる画像の一例である。
第３実施例では、図９に表した第１部材９１ｃと第２部材９２ｃをレーザ溶接する。第１部材９１ｃ及び第２部材９２ｃは、互いに接して設けられ、その接触部分にレーザＬが照射される。
【００６０】
レーザＬが照射されると、第１部材９１ｃ及び第２部材９２ｃが溶融し、溶融池ＷＰが形成される。溶融池ＷＰが冷却されると、凝固層ＳＬが形成される。第１部材９１ｃと第２部材９２ｃの接触部分に順次レーザＬを照射することで、第１部材９１ｃと第２部材９２ｃが溶接される。
【００６１】
撮像部２６は、図９に表した溶接時の様子を、溶融池ＷＰ及びレーザＬの照射点が見える角度から撮影する。例えば、撮像部２６は、図１０（ａ）に表した画像を取得する。第１判定部１１ｂは、図１０（ａ）に表した画像を第１モデルに入力し、適切か判定する。
【００６２】
例えば、図１０（ａ）に表した画像は、暗すぎるために不適切と判定される。出力部１１ｅは、画像がより明るくなるように、撮影条件の補正量を制御部２８へ送信する。
【００６３】
変更された撮影条件にて、撮像部２６は、溶接時の様子を再度撮影する。例えば、撮像部２６は、図１０（ｂ）に表した画像を取得する。第１判定部１１ｂは、図１０（ｂ）に表した画像を第１モデルＭ１に入力し、適切か再度判定する。
【００６４】
第１モデルＭ１は、画像の一部に基づいてその画像が適切か判定するように学習されても良い。図１０（ｃ）及び図１０（ｄ）は、撮像部２６が取得した画像の一例である。図１０（ｃ）及び図１０（ｄ）において、右側の暗い部分は、溶融池（液体）である。その他の明るい部分は、部材及び凝固層（固体）である。
【００６５】
例えば、第１モデルによる判定には、画像のコントラストが影響する。画像における最大輝度と最小輝度の差に応じて、画像が明るすぎる又は暗すぎると判定される。画像においては、溶融池が鮮明に写されていることが望ましい。従って、溶融池の部分に基づく最小輝度と、その他の固体部分に基づく最大輝度と、から画像が適切か判定されることが望ましい。
【００６６】
例えば図１０（ｃ）の破線ＢＬで表したように、溶融池の一部と固体部分の一部の両方を含む画像の一部分のみに基づいて画像が適切か判定することが望ましい。こうすることで、画像に含まれる意図しない黒点又は白点によって、画像の判定の精度が低下することを抑制できる。
【００６７】
また、図１０（ｃ）及び図１０（ｄ）に表したように、溶融池のサイズ及び位置は画像ごとに変化しうる。このため、第１モデルＭ１は、判定に用いる部分を画像ごとに抽出できるように学習されていることが望ましい。例えば、図１０（ｄ）に表した画像では、破線ＢＬの位置及び大きさが、図１０（ｃ）における破線ＢＬの位置及び大きさと異なる。
【００６８】
図１１（ａ）は、上述した処理を経て、モデルＭ１によって適切と判定された画像を表している。抽出部１１ｃは、図１１（ａ）に表した画像を第２モデルに入力する。この結果、図１１（ｂ）の画像中の破線ＢＬ、点線ＤＬ、及び鎖線ＣＬで示す線分が特徴として抽出される。
【００６９】
図１１（ｂ）に表した画像において、破線ＢＬは、凝固層ＳＬの外縁に対応する。点線ＤＬは、溶融池ＷＰの外縁に対応する。鎖線ＣＬは、レーザＬの照射点の外縁に対応する。第２判定部１１ｄは、図１１（ｂ）に表した画像を第３モデルに入力し、溶接の適否を判定する。
【００７０】
図１１（ｂ）に表した画像では、鎖線ＣＬの形状が真円に近いため、溶接は適切と判定される。この他に、鎖線ＣＬのサイズ又は形状の時間ごとの変化、点線ＤＬの所定方向における長さの時間ごとの変化、破線ＢＬ同士の距離の時間ごとの変化、１つの画像における破線ＢＬ同士の距離の変化などに基づいて、溶接の適否が判定されても良い。
【００７１】
時間の経過に伴う変化に基づいて溶接の適否を判定する場合、第３モデルＭ３もそれに応じて学習される。この場合、例えば、第３モデルＭ３は、再帰型ニューラルネットワーク（ＲＮＮ）である。望ましくは、第３モデルＭ３は、Long Short-Term Memory（ＬＳＴＭ）構造を有する。例えば、第３モデルＭ３は、時系列データと、その時系列データの適否を示すラベルと、を用いて学習される。
【００７２】
（第１変形例）
図１２は、実施形態の第１変形例に係る判定装置の機能構成を例示する模式図である。
第１変形例に係る判定装置１０ａにおいて、処理部１１は、抽出部１１ｃを含まない。第１モデルＭ１によって画像が適切と判定されると、第２判定部１１ｄは、記憶装置３０に記憶された第３モデルＭ３を用いて、画像から直接溶接の適否を判断する。また、第３モデルＭ３からは、溶接が不適切と判定されたときに、溶接条件の補正量が出力される。
【００７３】
このように、第１変形例に係る判定装置１０ａでは、特徴が抽出されず、第１モデルＭ１によって適切と判定された画像から、第３モデルＭ３によって溶接の適否が直接判定される。このため、図２に表した判定装置１０に比べて、計算量を低減できる。一方、図２に表した判定装置１０では、画像からの特徴の抽出及び溶接の判定が異なるモデルを用いて実行される。このため、処理部１１からの出力に異常が生じたときでも、モデルを個々に点検、調整、又は交換できる。すなわち、使用するモデルのメンテナンスが容易となる。
【００７４】
（第２変形例）
図１３は、実施形態の第２変形例に係る判定装置の機能構成を例示する模式図である。
第２変形例に係る判定装置１０ｂでは、抽出部１１ｃａが第２モデルＭ２を用いて特徴を抽出する際に、直接抽出される、又は補正された画像に対する特徴が抽出される。例えば、第２モデルＭ２に入力される画像が、基準となる状態に対して回転、拡大、又は縮小されているとき、第２モデルＭ２は、入力された画像を回転、拡大、又は縮小した画像に対する特徴を出力する。
【００７５】
その他に、第２モデルＭ２は、入力された画像をコントラスト調整した画像に対する特徴を出力しても良い。第２モデルＭ２は、入力された画像に欠陥、傷、又は下地のビード痕が含まれるとき、欠陥、傷、又はビード痕を除去した画像に対する特徴を抽出する。又は、第２モデルＭ２は、入力された画像のビード幅を拡大又は縮小した画像に対する特徴を出力しても良い。すなわち、画像に対する補正は、回転、拡大、縮小、コントラスト調整、欠陥の除去、傷の除去、ビード痕の除去、又はビード幅の変更を含みうる。
【００７６】
例えば、第２モデルＭ２の学習時に、欠陥、傷、又はビード痕が含まれない画像を用いていると、欠陥、傷、又はビード痕を含む画像が入力されたときに、第２モデルＭ２は溶接に関する特徴を適切に抽出できない可能性がある。また、学習時に使用した画像と比べて、第２モデルに入力される画像が回転、拡大、又は縮小されていると、溶接に関する特徴を適切に抽出できない可能性がある。又は、溶接に関する特徴を抽出できたとしても、その後に第３モデルＭ３により、抽出された特徴に基づく溶接の適否を正確に判定できない可能性がある。
【００７７】
上述したように、第２モデルＭ２が、入力された画像を補正した画像に対する特徴を出力可能であることで、抽出された特徴に基づいて溶接の適否をより精度良く判定できる。
【００７８】
図１４（ａ）〜図１４（ｄ）、図１５（ａ）〜図１５（ｄ）、図１６（ａ）、及び図１６（ｂ）は、実施形態の第２変形例に係る判定装置による処理を例示する画像である。
図１４（ａ）〜図１４（ｄ）、図１５（ａ）〜図１５（ｄ）、図１６（ａ）、及び図１６（ｂ）では、ＴＩＧ溶接の様子が示されている。
【００７９】
図１４（ａ）に表した画像は、例えば、画像における溶接池のサイズが標準よりも大きい。図１４（ｂ）に表した画像は、標準の画像に対して回転している。図１４（ｃ）に表した画像は、第１モデルＭ１によって適切と判定されたが、コントラストが標準の画像よりも高い。図１４（ａ）〜図１４（ｃ）に表した画像が第２モデルに入力されると、これらの画像から直接抽出される特徴に対して、回転、縮小、又はコントラスト調整がなされた図１４（ｄ）に表した特徴が出力される。
【００８０】
図１５（ａ）に表した画像では、欠陥ＤＦが写っている。第２モデルにより、欠陥ＤＦが除去された図１５（ｂ）に表した画像に基づく特徴が出力される。また、図１５（ｃ）に表した画像では、ビード幅Ｗが標準よりも広い。第２モデルにより、ビード幅Ｗが縮小された図１５（ｄ）に表した画像に基づく特徴が出力される。
【００８１】
他の例として、図１６（ａ）に表した画像では、傷Ｆが写っている。また、図１６（ｂ）に表した画像では、ビード痕Ｂが写っている。第２モデルにより、傷Ｆ及びビード痕Ｂが除去された画像に基づく特徴が出力される。
【００８２】
（第３変形例）
図１７は、実施形態の第３変形例に係る判定装置の機能構成を例示する模式図である。
第２変形例に係る判定装置１０ｃにおいて、処理部１１は、評価部１１ｆを含む。評価部１１ｆは、抽出部１１ｃによって出力された特徴を評価する。
【００８３】
具体的には、評価部１１ｆは、抽出部１１ｃによって特徴が抽出されると、その特徴を補正する。補正は、特徴の補完、不要な部分の削除、又は特徴の鮮明化などを含む。評価部１１ｆは、抽出された特徴と、補正された特徴と、を比較する。これらの特徴の差が小さいほど、評価部１１ｆは、第２モデルＭ２の性能を高く評価する。
【００８４】
一例として、評価部１１ｆは、抽出された特徴（第１特徴）を示す画像と、補正された特徴（第２特徴）を示す画像と、の差を計算する。差は、２つの画像の対応する画素同士を比較し、変化している画素の数をカウントすることで得られる。評価部１１ｆは、変化数を予め設定された閾値（第１閾値）と比較する。評価部１１ｆは、変化数が閾値よりも大きいとき、第２モデルＭ２の再学習又は交換が望ましいと判定する。例えば、第２モデルＭ２を再学習又は交換するよう求める情報が、出力部１１ｅからユーザへ出力される。
【００８５】
撮像部２６による取得される画像の傾向が変化したときなどに、第２モデルＭ２が特徴を適切に画像から抽出できなくなる可能性がある。画像に基づく溶接の適否の判定と併せて第２モデルＭ２が評価されることで、判定の精度の低下を抑制することができる。
【００８６】
図１８（ａ）、図１８（ｂ）、図１９（ａ）〜図１９（ｆ）、図２０（ａ）〜図２０（ｃ）、図２１（ａ）〜図２１（ｃ）、図２２（ａ）〜図２２（ｃ）、及び図２３（ａ）〜図２３（ｃ）は、実施形態の第３変形例に係る判定装置による処理を例示する画像である。
図１８（ａ）〜図２３（ｃ）では、ＴＩＧ溶接の様子が示されている。
【００８７】
図１８（ａ）は、第１モデルによって適切と判定された画像の一例である。抽出部１１ｃは、図１８（ａ）に表した画像を第２モデルに入力する。これにより、図１８（ｂ）に表した特徴が抽出される。
【００８８】
図１８（ｂ）に表した画像には、開先の壁面に対応する２つの線Ｌ１及びＬ２と、溶融池の端部に対応する線Ｌ３と、が含まれる。例えば、図１８（ｂ）の画像では、線Ｌ１及びＬ２は、赤色で表される。線Ｌ３は、緑色で表される。その他の部分は、青色で表される。評価部１１ｆは、図１８（ｂ）に表した画像を補正する。例えば、評価部１１ｆは、補正において、特徴を示す線を削除又は補完し、且つ画像に含まれるノイズを除去する。以下では、補正の具体的な一例を説明する。
【００８９】
図１９（ａ）、図１９（ｂ）、及び図１９（ｃ）の画像は、図１８（ｂ）に表した画像を色ごとに分けたものである。図１９（ａ）の画像は、線Ｌ１及びＬ２のみを含む。図１９（ｂ）の画像は、線Ｌ３のみを含む。図１９（ｃ）の画像は、他の要素のみを含む。この例では、図１９（ｃ）の画像には、実質的に何も含まれていない。
【００９０】
評価部１１ｆは、各画像を二値化する。二値化は、線Ｌ１〜Ｌ３の輝度が、その他の部分の輝度と異なるように、実行される。評価部１１ｆは、二値画像に、縮小処理及び拡大処理の少なくともいずれかを加える。例えば、評価部１１ｆは、二値画像に、縮小処理と拡大処理の両方を加える。評価部１１ｆは、拡大処理及び縮小処理を、複数回実行しても良い。拡大処理と縮小処理が交互に繰り返されても良い。拡大処理と縮小処理の実行順序は、適宜変更可能である。評価部１１ｆは、縮小処理又は拡大処理の実行時に、回転処理を加えてもいい。これにより、図１９（ｄ）〜図１９（ｆ）に表した画像が生成される。縮小処理及び拡大処理により、画像中のノイズが除去される。
【００９１】
評価部１１ｆは、図２０（ａ）に表したように、線Ｌ１及びＬ２を含む画像に２つの領域（領域Ｒ１及び領域Ｒ２）を設定する。領域Ｒ１と領域Ｒ２の境界は、画像の第１方向Ｄ１の中心である。第１方向Ｄ１は、線Ｌ１及びＬ２を結ぶ方向である。また、評価部１１ｆは、線Ｌ１及びＬ２を含む画像について、第１方向Ｄ１の各点における、第２方向Ｄ２の濃淡値の合計を算出する。第２方向Ｄ２は、第１方向Ｄ１に垂直な方向である。
【００９２】
図２０（ｂ）は、濃淡値の合計の算出結果を表す。図２０（ｂ）において、横軸は、第１方向Ｄ１における位置Ｐを表す。縦軸は、濃淡値の合計Ｓｕｍを表す。評価部１１ｆは、領域Ｒ１及びＲ２のそれぞれにおける合計Ｓｕｍのピークを検出する。領域Ｒ１又はＲ２で複数のピークが検出された場合、画像の第１方向Ｄ１の中心により近いピークのみを残し、他のピークは除去する。これにより、領域Ｒ１及びＲ２のそれぞれに、１つの線のみが存在する画像が得られる。
【００９３】
例えば、モデルから出力された画像において、線Ｌ１及びＬ２以外に、一方向に沿った別の線が存在する可能性がある。上記の処理により、中心から遠い線は、除去される。図２０（ａ）及び図２０（ｂ）の例では、領域Ｒ１及びＲ２で、それぞれ１つのピークのみが検出されている。このため、図２０（ａ）及び図２０（ｂ）の例では、ピークの削除は行われない。次に、評価部１１ｆは、線Ｌ１及びＬ２を直線近似する。これにより、図２０（ａ）に表した画像から、図２０（ｃ）に表した画像が得られる。
【００９４】
評価部１１ｆは、線Ｌ１及びＬ２の位置情報を基に、図１９（ｅ）に表した画像に対して、図２１（ａ）に表したように、５つの領域Ｒ１１〜Ｒ１５を設定する。領域Ｒ１１とＲ１２の境界の位置は、線Ｌ１の位置に対応する。領域Ｒ１４とＲ１５の境界の位置は、線Ｌ２の位置に対応する。領域Ｒ１２〜Ｒ１４は、線Ｌ１に対応する境界と線Ｌ２に対応する境界との間の領域を、３等分することで設定される。
【００９５】
評価部１１ｆは、線Ｌ３の一部が領域Ｒ１１及びＲ１５に存在するとき、その部分を除去する。すなわち、評価部１１ｆは、領域Ｒ１１及びＲ１５に含まれる画素の輝度を、全て黒色に対応する値に設定する。また、評価部１１ｆは、領域Ｒ１２及びＲ１４に存在する線Ｌ３の一部を、曲線近似する。評価部１１ｆは、領域Ｒ１３に存在する線Ｌ３の一部には、処理を加えない。これらの処理により、図２１（ｂ）に表した画像が生成される。
【００９６】
評価部１１ｆは、図１９（ｆ）に表した画像と、図２０（ｃ）に表した画像と、図２１（ｂ）に表した画像と、を結合し、図２１（ｃ）に表した画像を生成する。図１８（ｂ）に表した画像では、線Ｌ１〜Ｌ３が不鮮明であったが、補正によりこれらの線が鮮明となっている。評価部１１ｆは、図１８（ｂ）に表した画像と、図２１（ｃ）に表した画像と、を比較し、画素の変化数をカウントする。評価部１１ｆは、変化数に基づいて、第２モデルの性能を評価する。
【００９７】
図２２（ａ）〜図２２（ｃ）及び図２３（ａ）〜図２３（ｃ）は、その他の例を表す。
評価部１１ｆは、図２２（ａ）の画像を第２モデルに入力し、図２２（ｂ）の画像を取得する。図２２（ｂ）の画像では、線Ｌ１が不鮮明となっている。また、図２２（ｂ）の画像には、線Ｌ１〜Ｌ３に加え、線Ｌ４が含まれている。補正により、線Ｌ１が鮮明となり、線Ｌ４が除去される。評価部１１ｆは、図２２（ｂ）の画像に、上記と同様の処理を加えて補正し、図２２（ｃ）の画像を生成する。
【００９８】
評価部１１ｆは、図２２（ｂ）に表した画像と、図２２（ｃ）に表した画像と、を比較し、画素の変化数をカウントする。評価部１１ｆは、変化数に基づいて、第２モデルの性能を評価する。
【００９９】
同様に、評価部１１ｆは、図２３（ａ）の画像を第２モデルに入力し、図２３（ｂ）の画像を取得する。評価部１１ｆは、図２３（ｂ）の画像を補正し、図２３（ｃ）の画像を生成する。評価部１１ｆは、図２３（ｂ）に表した画像と、図２３（ｃ）に表した画像と、を比較し、画素の変化数をカウントする。評価部１１ｆは、変化数に基づいて、第２モデルの性能を評価する。
【０１００】
図２４は、実施形態に係る判定装置を備えた別の溶接システムを例示する模式図である。
図２４に表した溶接システム２は、判定装置１０及び学習装置４０を含む判定システムを備える。学習装置４０は、判定装置１０によって使用される各モデルを学習させる。学習装置４０は、学習させたモデルを記憶装置３０に記憶する。
【０１０１】
各モデルには、上述したように、学習データを用いた教師有り学習が実行される。学習装置４０は、半教師有り学習を実行しても良い。例えば、第２モデルＭ２を学習させる際に、半教師有り学習が用いられる。
【０１０２】
例えば、学習装置４０は、複数の入力画像と、特徴を示す複数の教師画像と、を用いて第２モデルＭ２を教師有り学習させる（第１動作）。その後、学習装置４０は、別の入力画像を第２モデルＭ２に入力し、第２モデルＭ２から出力された画像を得る。学習装置４０は、出力された画像を補正し、溶接に関する特徴を示した適切な画像を得る。補正は、上述したように、特徴の補完、不要な部分の削除、又は特徴の鮮明化などを含む。学習装置４０は、当該別の入力画像と、補正画像と、を用いて第２モデルＭ２をさらに教師有り学習させる（第２動作）。
【０１０３】
また、学習装置４０は、複数の入力画像と、複数の教師画像と、を用いて第２モデルＭ２を教師有り学習させる（第１動作）。入力画像は、例えば、望ましい画像と比べて、回転、拡大、又は縮小されている。又は、入力画像は、欠陥、傷などを含む。教師画像は、それらが補正された画像である。その後、学習装置４０は、別の入力画像を第２モデルＭ２に入力し、第２モデルＭ２から出力された画像を得る。学習装置４０は、出力された画像をより望ましい状態に補正する。学習装置４０は、当該別の入力画像と、補正画像と、を用いて第２モデルＭ２をさらに教師有り学習させる（第２動作）。
【０１０４】
モデルの学習時に、モデルから出力された画像を基に教師画像を生成することで、学習に必要なデータ量を削減できる。
【０１０５】
学習装置４０は、第２モデルＭ２の学習に用いる入力画像を生成する機能を備えていても良い。例えば、学習装置４０は、学習に用いられる教師画像に、回転、拡大、縮小、コントラスト変更、欠陥の追加、傷の追加、ビード痕の追加、ビード幅の変更などの処理を加え、入力画像を生成する。学習装置４０は、生成した入力画像と、教師画像と、を用いて第２モデルＭ２を学習させる。
【０１０６】
モデルの学習時に、教師画像から入力画像が生成されることで、学習に必要なデータ量を削減できる。
【０１０７】
図２５は、学習装置の動作を例示するフローチャートである。
図２５では、学習装置による半教師有り学習の動作を例示している。また、図２５では、学習装置４０が、半教師有り学習の際に、ユーザから学習に用いる画像の評価を受ける例を示している。
【０１０８】
学習装置４０は、記憶装置３０にアクセスし、学習済みのモデルに第１画像（入力画像）を入力する（ステップＳ１１）。学習装置４０は、モデルから出力された第２画像（出力画像）を取得する（ステップＳ２）。学習装置４０は、第２画像を補正し、第２画像とは異なる第３画像（補正画像）を生成する（ステップＳ３）。
【０１０９】
学習装置４０は、第３画像を表示装置に表示させる（ステップＳ１４）。ユーザは、第３画像を確認し、第３画像の評価に関して入力装置を用いて入力する。学習装置４０は、ユーザからの評価を受け付ける（ステップＳ１５）。表示装置は、例えば、モニタ又はプロジェクタである。入力装置は、例えば、キーボード、マウス、タッチパッド、又はマイク（音声入力）である。タッチパネルのように、表示装置と入力装置の両方の機能を備えた装置が用いられても良い。
【０１１０】
学習装置４０は、評価が肯定的か判断する（ステップＳ１６）。評価が否定的であるとき、学習装置４０は、ユーザに、教師画像の入力を要求する。学習装置４０は、ユーザから入力された教師画像（第４画像）を受け付ける（ステップＳ１７）。学習装置４０は、第１画像を入力データ、第４画像を教師データとして用いてモデルを学習させる（ステップＳ１８）。
【０１１１】
評価が肯定的であるとき、学習装置４０は、第２画像と第３画像の差分を計算する。学習装置４０は、この差分が所定の閾値を超えるか判断する（ステップＳ１９）。差分が閾値を超えるとき、学習装置４０は、第１画像を入力データ、第３画像を教師データとして用いてモデルを学習させる（ステップＳ２０）。ステップＳ１８又はＳ２０の後、学習装置４０は、学習させたモデルを保存する（ステップＳ２１）。差分が閾値以下のとき、学習装置４０は、処理を終了する。
【０１１２】
図２５に表した動作によれば、教師データとして適切な第３画像のみがモデルの学習に用いられる。また、第３画像が不適切なときには、ユーザにより入力された第４画像がモデルの学習に用いられる。このため、よりユーザの意図する結果が出力されるよう、モデルを適切に学習させることができる。
【０１１３】
図２５に表した動作において、第３画像についての評価が肯定的であるときには、学習装置４０は、第２画像と第３画像の差分に拘わらず、ステップＳ２０を実行しても良い。ただし、差分が小さい場合、十分に望ましい画像がモデルから出力されていることを示す。従って、第３画像を用いて学習を実行する必要性は少ない。差分に基づいて学習の実行を判断することで、無用にモデルが学習されることを抑制できる。これにより、学習装置４０により計算量を低減できる。また、モデルが過学習され、モデルの汎化能力が低減することを抑制できる。
【０１１４】
図２６は、実施形態に係る判定装置のハードウェア構成を例示する模式図である。
上述した各判定装置は、中央演算処理装置（ＣＰＵ）１１１と、入力装置１１２と、出力装置１１３と、ＲＯＭ（Read  Only  Memory）１１４と、ＲＡＭ（Random  Access  Memory）１１５と、記憶装置１１６と、通信装置１１７と、バス１１８とを含む。各部は、バス１１８により接続される。
【０１１５】
ＣＰＵ１１１は、処理回路を含む。ＣＰＵ１１１は、ＲＯＭ１１４または記憶装置１１６に予め記憶された各種プログラムと協働して各種処理を実行し、判定装置１０の動作を統括的に制御する。これにより、上述した各判定装置における処理部１１としての機能が実現される。ＣＰＵ１１１は、処理において、ＲＡＭ１１５の所定領域を作業領域として用いる。ＣＰＵ１１１は、ＲＯＭ１１４または記憶装置１１６に予め記憶されたプログラムと協働して、入力装置１１２、出力装置１１３、及び通信装置１１７等を実現させる。
【０１１６】
入力装置１１２は、例えば、キーボード、マウス、又はタッチパネルを含む。入力装置１１２は、ユーザから入力された情報を指示信号として受け付け、その指示信号をＣＰＵ１１１に出力する。出力装置１１３は、例えばモニタである。出力装置１１３は、ＣＰＵ１１１から出力された信号に基づいて、各種情報を視認可能に出力する。
【０１１７】
ＲＯＭ１１４は、判定装置１０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ１１５は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）等の揮発性の記憶媒体である。ＲＡＭ１１５は、ＣＰＵ１１１の作業領域として機能する。具体的には、判定装置１０が用いる各種変数およびパラメータ等を一時記憶するバッファ等として機能する。
【０１１８】
記憶装置１１６は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置１１６は、判定装置１０の制御に用いられるプログラムおよび各種設定情報等を記憶する。通信装置１１７は、外部の機器と通信して情報の送受信を行うために用いられる。
【０１１９】
ここでは、判定装置のハードウェア構成について説明した。学習装置のハードウェア構成についても、同様の構成を適用可能である。又は、図２６に示す１つのハードウェアが、判定装置及び学習装置の両方として機能しても良い。
【０１２０】
以上で説明した各実施形態によれば、溶接の質をより精度良く判定できる、判定装置、判定システム、溶接システム、及び判定方法を提供できる。これらによって実行される判定結果を基に溶接を実行することで、より良い溶接を実行できる溶接装置を提供できる。また、以上で説明した各実施形態を処理部（処理回路）に実行させるためのプログラム及びそのプログラムを記憶した記憶媒体を用いることで、溶接の判定をより精度良く実行できる。
【０１２１】
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【０１２２】
１ 判定システム、  ２ 溶接システム、  １０、１０ａ〜１０ｃ 判定装置、  １１ 処理部、  １１ａ 入力部、  １１ｂ 第１判定部、  １１ｃ、１１ｃａ 抽出部、  １１ｄ 第２判定部、  １１ｅ 出力部、  １１ｆ 評価部、  ２０ 溶接装置、  ２１ ヘッド、  ２１ａ 電極、  ２２ アーム、  ２３ 電力供給部、  ２４ ガス供給部、  ２５ ワイヤ、  ２６ 撮像部、  ２７ 照明部、  ２８ 制御部、  ３０ 記憶装置、  ４０ 学習装置、  ９１ａ〜９１ｃ 第１部材、  ９２ａ〜９２ｃ 第２部材、  Ｂ ビード痕、  ＤＦ 欠陥、  ＤＬ 点線、  Ｆ 傷、  ＩＭ 画像、  ＩＮ 情報、  Ｌ レーザ、  Ｍ１ 第１モデル、  Ｍ２ 第２モデル、  Ｍ３ 第３モデル、  Ｐ 位置、  Ｒ１、Ｒ２、Ｒ１１〜Ｒ１５ 領域、  Ｓ 溶接対象、  ＳＷ１ 第１壁面、  ＳＷ２ 第２壁面、  ＳＬ 凝固層、  Ｗ ビード幅、  ＷＰ 溶融池
【図１】
2020182966.tif 000003
【図２】
2020182966.tif 000004
【図３】
2020182966.tif 000005
【図４】
2020182966.tif 000006
【図５】
2020182966.tif 000007
【図６】
2020182966.tif 000008
【図７】
2020182966.tif 000009
【図８】
2020182966.tif 000010
【図９】
2020182966.tif 000011
【図１０】
2020182966.tif 000012
【図１１】
2020182966.tif 000013
【図１２】
2020182966.tif 000014
【図１３】
2020182966.tif 000015
【図１４】
2020182966.tif 000016
【図１５】
2020182966.tif 000017
【図１６】
2020182966.tif 000018
【図１７】
2020182966.tif 000019
【図１８】
2020182966.tif 000020
【図１９】
2020182966.tif 000021
【図２０】
2020182966.tif 000022
【図２１】
2020182966.tif 000023
【図２２】
2020182966.tif 000024
【図２３】
2020182966.tif 000025
【図２４】
2020182966.tif 000026
【図２５】
2020182966.tif 000027
【図２６】
2020182966.tif 000028