(57)【要約】【課題】溶接中においても、溶接工の視野方向を撮像して得られる画像におけるワークの位置を推定することができ、溶接作業を支援するための溶接線画像をワークの位置に合わせて溶接工に表示可能な溶接面を提供する。【解決手段】溶接面１は、溶接面本体２と、溶接中にワークの溶接箇所が撮像されるように溶接面本体２に設けられた第１撮像部３と、溶接中に非溶接箇所が撮像されるように溶接面本体２に設けられた第２撮像部４と、溶接面本体２に設けられており、第１撮像部３にて撮像されたワークの画像を溶接工Ａに対して表示する表示部５と、制御部６と、溶接箇所を示した溶接線位置情報を取得する通信部７とを備える。制御部６は、溶接中に第２撮像部４にて撮像された画像に基づいて、撮像画像におけるワークの位置を推定し、推定されたワークの位置に合わせて、溶接線位置情報に基づく溶接線画像を表示部５に重畳表示させる。【選択図】図１
2019198882.tif 000002
【特許請求の範囲】
【請求項１】
溶接工の顔面を保護する溶接面本体と、
溶接中に、ワークの溶接箇所が撮像されるように前記溶接面本体に設けられた第１撮像部と、
溶接中に非溶接箇所が撮像されるように前記溶接面本体に設けられた第２撮像部と、
前記溶接面本体に設けられており、前記第１撮像部にて撮像された前記ワークの画像を前記溶接工に対して表示する表示部と、
前記第１撮像部にて撮像された前記ワークの画像における前記溶接箇所を示した溶接線位置情報を取得する溶接線情報取得部を有し、溶接中に前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部にて撮像された画像における前記ワークの位置を推定し、推定された前記画像における該ワークの位置に合わせて、前記溶接線情報取得部にて取得した前記溶接線位置情報に基づく溶接線画像を前記表示部に重畳表示させる制御部と
を備える溶接面。
【請求項２】
前記制御部は、
前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部と、前記ワークとの位置関係を特定し、溶接中に前記第１撮像部にて撮像された画像における前記ワークの位置を推定する
請求項１に記載の溶接面。
【請求項３】
前記制御部は、
前記第１撮像部にて撮像して得られる画像に基づいて、所定座標系における前記ワークの位置を特定する第１特定部と、
前記第２撮像部にて撮像して得られる画像に基づいて、前記所定座標系における前記第１撮像部の位置及び姿勢を特定する第２特定部と、
前記所定座標系における前記ワークの位置と、前記第２特定部が特定した前記第１撮像部の位置及び姿勢とに基づいて、前記第１撮像部にて撮像される画像における前記ワークの位置を推定する推定部と
を有する請求項１に記載の溶接面。
【請求項４】
溶接中であるか否かを判定する判定部を備え、
前記制御部は、
前記判定部が溶接中で無いと判定した場合、前記第１撮像部にて撮像された画像における前記ワークの位置に合わせて前記溶接線画像を前記表示部に表示させ、前記判定部が溶接中であると判定した場合、推定された前記ワークの位置に合わせて前記溶接線画像を前記表示部に表示させる
請求項２又は請求項３に記載の溶接面。
【請求項５】
前記制御部は、
前記第１撮像部にて撮像された画像における前記ワークの輪郭線の位置を示す輪郭線位置情報を取得する輪郭線情報取得部を有し、推定された前記画像における前記ワークの位置に合わせて、前記輪郭線情報取得部にて取得した前記輪郭線位置情報に基づく輪郭線画像を前記表示部に重畳表示させる
請求項１〜請求項４までのいずれか一項に記載の溶接面。
【請求項６】
前記第１撮像部に設けられており、溶接中は遮光度が高く、非溶接中は遮光度が低い遮光板を備える
請求項１〜請求項５までのいずれか一項に記載の溶接面。
【請求項７】
溶接中にワークの溶接箇所が撮像されるように、溶接工の顔面を保護する溶接面本体に設けられた第１撮像部と、溶接中に非溶接箇所が撮像されるように前記溶接面本体に設けられた第２撮像部とを用意し、
前記第１撮像部にて撮像された前記ワークの画像における前記溶接箇所を示した溶接線位置情報を取得し、
溶接中に前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部にて撮像された画像における前記ワークの位置を推定し、
推定された前記画像における前記ワークの位置に合わせて、取得した前記溶接線位置情報に基づく溶接線画像を重畳させた画像を前記溶接工に提供する
溶接支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、溶接工を保護すると共に溶接作業を支援する溶接面及び溶接支援方法に関する。
【背景技術】
【０００２】
溶接を行う際、溶接工は溶接面を装着して作業を行う。溶接面には、溶接中に発生するアーク光から溶接工の目を保護する遮光板が取り付けられている。遮光板の遮光度数が高すぎると、溶接開始前の視野は暗くなり、ワークを視認し難くなる。また溶接中もアーク近傍しか視認できず、非常に作業効率が悪い。
ワークの視認性の問題を解消する対策として遮光度数を下げることも考えられるが、アーク光の眩しさで逆に作業性が下がり溶接工の目にも負担がかかる。
【０００３】
また、遮光度を自動で調整する機能を有する溶接面を使用すれば溶接前の視認性は改善されるものの、溶接中の作業性については上記従来技術と同様であり、アーク近傍しか視認できない。また、アーク光発生から、自動遮光機能が起動するまでにタイムラグが存在するため、アーク光が溶接工の目に入るおそれがあり、溶接工の目に対する負担は同様に存在する。
【０００４】
更に、溶接面を装着して作業を行う溶接工の視認性を補完する技術として、特許文献１には、溶接面本体に設けられた撮像装置にて溶接工の視野を捕捉し、拡張現実（AR:Augmented Reality）技術を用いて、溶接工に視覚的合図を提供するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３９１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のシステムは溶接工の視野を撮像装置によって捕捉する構成であるため、溶接中に発生する強いアーク光が撮像装置に入射し、溶接中の撮像画像から溶接対象のワークを認識することは困難である。このため、溶接工の視野内にあるワークを適切に捕捉し、視覚的合図を適切に提供することはできない。
【０００７】
本発明の目的は、溶接工の視野方向を撮像して得られる画像を表示すると共に、溶接中であっても、溶接箇所を示す溶接線画像をワークの位置に合わせて重畳表示することができ、溶接作業を支援することが可能な溶接面及び溶接支援方法を提供することにある。
【課題を解決するための手段】
【０００８】
本態様に係る溶接面は、溶接工の顔面を保護する溶接面本体と、溶接中に、ワークの溶接箇所が撮像されるように前記溶接面本体に設けられた第１撮像部と、溶接中に非溶接箇所が撮像されるように前記溶接面本体に設けられた第２撮像部と、前記溶接面本体に設けられており、前記第１撮像部にて撮像された前記ワークの画像を前記溶接工に対して表示する表示部と、前記第１撮像部にて撮像された前記ワークの画像における前記溶接箇所を示した溶接線位置情報を取得する溶接線情報取得部を有し、溶接中に前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部にて撮像された画像における前記ワークの位置を推定し、推定された前記画像における該ワークの位置に合わせて、前記溶接線情報取得部にて取得した前記溶接線位置情報に基づく溶接線画像を前記表示部に重畳表示させる制御部とを備える。
本態様に係る溶接支援方法は、溶接中にワークの溶接箇所が撮像されるように、溶接工の顔面を保護する溶接面本体に設けられた第１撮像部と、溶接中に非溶接箇所が撮像されるように前記溶接面本体に設けられた第２撮像部とを用意し、前記第１撮像部にて撮像された前記ワークの画像における前記溶接箇所を示した溶接線位置情報を取得し、溶接中に前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部にて撮像された画像における前記ワークの位置を推定し、推定された前記画像における前記ワークの位置に合わせて、取得した前記溶接線位置情報に基づく溶接線画像を重畳させた画像を前記溶接工に提供する。
【０００９】
本態様にあっては、溶接面本体に設けられた第１撮像部は、溶接面を装着した溶接工の視野方向を撮像する。溶接工がワークに目を向けると、第１撮像部によってワークの溶接箇所が撮像される。非溶接中は第１撮像部にて鮮明なワークの画像が得られるが、溶接中はアーク光によって鮮明なワークの画像が得られなくなる。
一方、溶接面本体に設けられた第２撮像部は、溶接工の視野から外れた方向を撮像する。溶接工がワークに目を向けても、ワークの溶接箇所は第２撮像部の撮像範囲に含まれず、溶接作業現場の周囲等、非溶接箇所が撮像される。第２撮像部にて撮像された画像は、ワークに対する溶接面の位置関係、言い換えるとワークに対する第１撮像部の位置関係を反映したものである。従って、第２撮像部にて撮像された画像を利用することによって、溶接中であっても第１撮像部にて撮像された画像におけるワークの位置、つまりアークが発生していなければ鮮明に写っているはずのワークの位置を推定することができる。
制御部は、上記の通り、溶接中であっても第１撮像部にて撮像された画像におけるワークの位置を推定し、推定されたワークの位置に合わせて、溶接線画像を表示部に重畳表示させる。溶接工は、第１撮像部にて撮像された画像に溶接線画像が重畳された画像を視認することができる。従って、溶接工は、アーク光によって、溶接箇所を良好に確認できない状態にあっても、重畳表示された溶接線画像を頼りに溶接を行うことができる。
なお、本態様に係る表示部は、例えば非透過型のディスプレイであり、溶接工は当該ディスプレイに表示されたワークの画像及び溶接線画像を視認することができる。このように、いわゆるビデオ透過型の溶接面によって拡張現実を実現することによって、溶接作業を支援することができ、アーク光が溶接工の目に入射することを完全に防ぐことができる。
【００１０】
本態様に係る溶接面は、前記制御部は、前記第２撮像部にて撮像された画像に基づいて、前記第１撮像部と、前記ワークとの位置関係を特定し、溶接中に前記第１撮像部にて撮像された画像における前記ワークの位置を推定する。
【００１１】
本態様にあっては、制御部は、第２撮像部にて撮像された画像に基づいて、ワークに対する第１撮像部の位置関係を特定することができる。ワークと、第１撮像部との位置関係は、溶接中及び非溶接中に拘わらず特定される。一方、第１撮像部にて撮像される画像によれば、溶接中はワークの位置を特定できるが、非溶接中は特定が難しくなる。溶接が開始された場合、制御部は、第１撮像部にて撮像される画像におけるワークの位置を見失うことになるが、第２撮像部にて撮像された画像によって第１撮像部及びワークの位置関係を特定することが可能であり、ワークの位置を推定することができる。
【００１２】
本態様に係る溶接面は、前記制御部は、前記第１撮像部にて撮像して得られる画像に基づいて、所定座標系における前記ワークの位置を特定する第１特定部と、前記第２撮像部にて撮像して得られる画像に基づいて、前記所定座標系における前記第１撮像部の位置及び姿勢を特定する第２特定部と、前記所定座標系における前記ワークの位置と、前記第２特定部が特定した前記第１撮像部の位置及び姿勢とに基づいて、前記第１撮像部にて撮像される画像における前記ワークの位置を推定する推定部とを有する。
【００１３】
本態様にあっては、第１特定部は、第１撮像部にて撮像された画像に基づいて、所定座標系におけるワークの位置を特定する。
第２特定部は、第２撮像部にて撮像された画像に基づいて、所定座標系における第１撮像部の位置及び姿勢を特定する。溶接中に発生するアーク光は第２撮像部に入射しないため、溶接中においても第２特定部は所定座標系における第１撮像部の位置及び姿勢を特定することができる。
そして、推定部は、所定座標系におけるワークと、第１撮像部との位置関係から、第１撮像部にて撮像される画像におけるワークの位置を推定する。
従って、制御部は、溶接中であっても上記の通り推定されたワークの位置に合わせて、溶接線画像を表示部に重畳表示させることができる。つまり、溶接中においても、ワークの溶接箇所を示す溶接線画像を溶接工に視認させることができ、溶接工の視認性及び作業性を向上させることができる。
【００１４】
本態様に係る溶接面は、溶接中であるか否かを判定する判定部を備え、前記制御部は、前記判定部が溶接中で無いと判定した場合、前記第１撮像部にて撮像された画像における前記ワークの位置に合わせて前記溶接線画像を前記表示部に表示させ、前記判定部が溶接中であると判定した場合、推定された前記ワークの位置に合わせて前記溶接線画像を前記表示部に表示させる。
【００１５】
本態様にあっては、非溶接中は第１撮像部によって直接撮像された画像におけるワークの位置に合わせて溶接線画像が表示される。溶接中は、推定部によって推定されたワークの位置に合わせて溶接線画像が表示される。
【００１６】
本態様に係る溶接面は、前記制御部は、前記第１撮像部にて撮像された画像における前記ワークの輪郭線の位置を示す輪郭線位置情報を取得する輪郭線情報取得部を有し、推定された前記画像における前記ワークの位置に合わせて、前記輪郭線情報取得部にて取得した前記輪郭線位置情報に基づく輪郭線画像を前記表示部に重畳表示させる。
【００１７】
本態様にあっては、第１撮像部によって撮像された画像におけるワークの位置に合わせて、溶接線画像と共に、ワークの輪郭を表した輪郭線画像を重畳させて表示することができる。従って、溶接中においても、ワーク及び溶接箇所を示す輪郭線画像及び溶接線画像を溶接工に視認させることができ、溶接工の視認性及び作業性を向上させることができる。
【００１８】
本態様に係る溶接面は、前記第１撮像部に設けられており、溶接中は遮光度が高く、非溶接中は遮光度が低い遮光板を備える。
【００１９】
本態様にあっては、第１撮像部は、溶接中でアークが発生している場合、遮光度が高い状態にある遮光板を通じてワークを撮像し、非溶接中でアークが発生していない場合、遮光度が低い状態にある遮光板を通じてワークを撮像する。遮光板を備えることによって、第１撮像部を保護することができる。また、溶接中はアーク光の明るさを抑えた画像を表示部に表示すると共に、アーク光及び遮光板の影響により視認し難くなる溶接箇所を示す溶接線画像を表示部に表示することによって、溶接工による溶接作業を支援することができる。なお、非溶接中は通常の明るさで撮像されたワークの画像を表示部に表示することができる。
【発明の効果】
【００２０】
本発明によれば、溶接工の視野方向を撮像して得られる画像を表示すると共に、溶接中であっても、溶接箇所を示す溶接線画像をワークの位置に合わせて重畳表示することができ、溶接作業を支援することができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態に係る溶接面の構成例を模式的に示す側断面図である。
【図２】本実施形態に係る溶接面の構成例を示すブロック図である。
【図３】溶接支援に係る制御部の処理手順を示すフローチャートである。
【図４】第１及び第２撮像部の撮像範囲を示す模式図である。
【図５】第１及び第２撮像部にて特定される特徴点を示す模式図である。
【図６】実施形態に係る溶接線画像及び輪郭線画像溶接線画像の表示例を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、本発明をその実施形態を示す図面に基づいて詳述する。
図１は本実施形態に係る溶接面１の構成例を模式的に示す側断面図、図２は本実施形態に係る溶接面１の構成例を示すブロック図である。本実施形態に係る溶接面１は、溶接工Ａの顔面及び頭頂部を覆い、溶接工Ａの顔面及び目を保護する耐熱性部材からなる溶接面本体２を備え、溶接面本体２には第１撮像部３、第２撮像部４、表示部５、制御部６及び通信部７が設けられている。本実施形態に係る溶接面１は、３次元ＳＬＡＭ（Simultaneous localization and mapping）技術にて、溶接面１の自己位置推定並びに周辺構造物及びワーク形状のマッピングを行い、溶接の作業性を向上させるための溶接線画像Ｃ１１及び輪郭線画像Ｃ１２（図６参照）を溶接工Ａに提供するものである。
溶接線画像Ｃ１１は、ワークＷの溶接箇所である溶接線を示す画像である。例えば、溶接線画像Ｃ１１は溶接箇所の始点及び終点を結ぶ直線の画像である。輪郭線画像Ｃ１２は、ワークＷの輪郭線を示す画像である。輪郭線画像Ｃ１２は、例えば、ワークＷの頂点を結び、ワークＷの輪郭を表現する直線の画像である。
【００２３】
溶接面本体２は、例えばキャップ型であり、その内側に図示しないヘッドバンドが設けられている。ヘッドバンドは、衝撃吸収のための空間を設けて、溶接面本体２を溶接工Ａの頭部に保持するためのものである。なお、溶接面本体２は、強化プラスチック製ヘルメットに取り付けるヘルメット取り付け型であっても良い。
【００２４】
第１撮像部３は、単眼ビデオカメラであり、溶接中にワークＷの溶接箇所が撮像されるように溶接面本体２に設けられている（図４参照）。例えば、第１撮像部３は、溶接工Ａの額部分を保護している溶接面本体２の前面上部に取り付けられ、撮像方向が、溶接面１を装着した溶接工Ａの視線と略一致するような姿勢で固定されている。第１撮像部３は、図示しない撮像レンズ及び撮像素子を備える。撮像レンズは、被写体の光学像を撮像素子の受光面に結像させる。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等であり、動画の画像データを出力する。
また、第１撮像部３には、アーク光を遮る遮光板３１が設けられている。遮光板３１は、例えば液晶シャッタであり、溶接中は遮光度が高く、非溶接中は遮光度が低くなる。遮光板３１の遮光度、つまり液晶シャッタの開閉は制御部６によって制御される。
【００２５】
第２撮像部４は、第１撮像部３と同様の単眼ビデオカメラであり、溶接中に非溶接箇所が撮像されるように溶接面本体２に設けられている（図４参照）。例えば、第２撮像部４は、溶接工Ａの頭頂部を保護している溶接面本体２の上面部分の後側に取り付けられ、撮像方向が、第１撮像部３の撮像方向と逆向きになるような姿勢で固定されている。第２撮像部４は、第１撮像部３と同様、撮像して得た動画の画像データを制御部６へ出力する。第２撮像部４のハードウェア構成は第１撮像部３と同様である。なお、第２撮像部４の撮像方向は、第１撮像部３の撮像方向と厳密に逆方向である必要は無い。第２撮像部４の撮像方向は、溶接中に発生するアーク光が入射しない位置及び姿勢で溶接面本体２に取り付けられていれば十分である。
【００２６】
表示部５は、いわゆる非透過型のディスプレイであり、第１撮像部３で撮像された画像を表示する表示パネル、例えば液晶表示パネル、有機ＥＬパネル、プラズマ表示パネル等を備える。溶接面本体２の正面側部分、即ち溶接面１を装着した溶接工Ａの目に相対する部分は平坦に形成されており、表示部５は、表示面が溶接工Ａの顔面方向を向くようにして当該平坦部分に配されている。当該平坦部分及び表示部５は非透光性であり、溶接工Ａは溶接面１を通じて外部を直接視認できず、表示部５に表示された画像を通じて外界を視認する構成である。
表示部５は、溶接工Ａの顔面近傍に相対する表示部５に表示される画像を、より遠方のスクリーンに表示された画像であるかのように溶接工Ａが視認できるよう、表示部５の表示面から出射される画像の光を変調して溶接工Ａの目に入射させる光学変調素子５ａを備える。溶接工Ａは、第１撮像部３にて撮像され、表示部５に表示された画像を、光学変調素子５ａを通じて見ることにより、あたかも溶接面１に設けられた窓を通じて外界を見ているかのように外界を認識することができる。
また、表示部５は、後述するように制御部６の制御に従って、溶接作業を支援するための溶接線画像Ｃ１１及び輪郭線画像Ｃ１２（図６参照）を、第１撮像部３にて撮像されたワークＷの画像に重畳させて表示することができる。
【００２７】
通信部７は、制御部６の制御に従って、外部の通信端末８と無線通信を行う通信機であり、通信端末８との間で各種情報を送受信する。通信端末８は例えばスマートフォンであり、通信部７は通信端末８にてワークＷの溶接箇所、輪郭線に係る情報を取得する。
具体的には、通信部７は、第１撮像部３にて撮像して得た画像データを通信端末８へ送信する。通信端末８は、図示しない表示ディスプレイ、タッチパネル等の入力装置を備え、通信部７から送信された画像データを受信し、受信した画像データに基づいて画像を表示ディスプレイに表示する。そして、通信端末８は、表示された第１撮像部３にて撮像された画像における溶接箇所、つまり溶接されるべき溶接線の位置を示す溶接線位置情報、ワークＷの輪郭線の位置を示す輪郭線位置情報をタッチパネルにて受け付け、受け付けた溶接線位置情報及び輪郭線位置情報を無線送信する。例えば、通信端末８は、溶接線の一端及び他端の位置の入力をタッチパネルにて受け付け、受信したワークＷの画像、つまり第１撮像部３にて撮像された画像に表れている溶接線の両端の座標位置を受け付ける。ワークＷの輪郭線の位置も同様にして受け付ける。通信部７は、通信端末８から送信された溶接線位置情報及び輪郭線位置情報を受信し、制御部６は通信部７を通じて各情報を取得する。
【００２８】
制御部６は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等を有するコンピュータである。入出力インタフェースには、第１撮像部３、第２撮像部４、表示部５、通信部７、遮光板３１及び記憶部６１が接続されており、制御部６は第１及び第２撮像部３，４から出力される画像データを取得し、表示部５による溶接線画像Ｃ１１及び輪郭線画像Ｃ１２の表示を制御する。また、制御部６は通信部７による通信、遮光板３１の開閉を制御する。
制御部６は、図示しないコンピュータプログラムを実行することによって、画像取得部６ａ、第１特定部６ｂ、第２特定部６ｃ、推定部６ｄ、判定部６ｅ、表示処理部６ｆ、溶接線情報取得部６ｇ及び輪郭線情報取得部６ｈとして機能する。特に、第１特定部６ｂ及び第２特定部６ｃは、３次元ＳＬＡＭ（Simultaneous localization and mapping）技術にて、溶接面本体２の自己位置推定並びに周辺構造物及びワークＷ形状のマッピングを行う機能部である。各機能部は、すべてソフトウェア的に構成しても良いし、全部又は一部をハードウェア的に構成しても良い。以下、各機能部が有する機能の概要を説明する。
【００２９】
第１特定部６ｂは、第１撮像部３にて撮像して得られる画像に基づいて、世界座標系（所定座標系）における第１撮像部３の位置及び姿勢、並びにワークＷの複数の特徴点Ｐ（図５参照）の位置を特定する。特徴点Ｐは、ワークＷの頂点、開先等である。第１撮像部３の位置及び姿勢、並びにワークＷの特徴点Ｐの位置は３次元ＳＬＡＭ技術によって特定することができる。
世界座標系は、ワークＷを静止物とする３次元座標系であり、第１撮像部３及び第２撮像部４の位置及び姿勢、並びにワークＷの特徴点Ｐの位置を定めるための座標系である。言い換えると、世界座標系は、ワークＷ、第１撮像部３及び第２撮像部４の位置及び姿勢を統一的に取り扱うための３次元座標系である。世界座標系の設定方法は特に限定されるものでは無いが、例えば、第１撮像部３が撮像を開始した時点における第１撮像部３の位置を原点とし、第１撮像部３の光軸、撮像方向をＺ軸とする直交座標系を世界座標系として設定すれば良い。
【００３０】
第２特定部６ｃは、第２撮像部４にて撮像して得られる画像に基づいて、世界座標系における第２撮像部４の位置及び姿勢を特定する。第２撮像部４の位置及び姿勢、並びに周囲構造物Ｂの特徴点Ｐの位置は３次元ＳＬＡＭ技術によって特定することができる。また、第２特定部６ｃは、第１撮像部３及び第２撮像部４の位置関係から、世界座標系における第１撮像部３の位置及び姿勢を特定することができる。
【００３１】
推定部６ｄは、第１特定部６ｂが特定した世界座標系におけるワークＷの特徴点Ｐの位置と、溶接中に第２特定部６ｃが特定した第１撮像部３の位置及び姿勢とに基づいて、第１撮像部３にて撮像される画像におけるワークＷの位置を推定する。
溶接中は強いアーク光により、ワークＷの鮮明な画像データが得られないため、推定部６ｄは、第２撮像部４にて撮像された画像データに基づいて、第１撮像部３の位置及び姿勢を追跡する。そして、推定部６ｄは、ワークＷと、第１撮像部３との位置関係から、溶接中に撮像された画像におけるワークＷの位置を推定する。つまり、推定部６ｄは、視認し難い撮像画像中のワークＷの位置を推定する。
【００３２】
判定部６ｅは、溶接中であるか否かを判定する。判定部６ｅは、例えば、第１撮像部３にて撮像して得た画像データの平均輝度が閾値以上であるか否かを判定することによって、溶接中であるか否かを判定する。溶接中はアーク光によって画像データの平均輝度が増大するため、平均輝度が閾値以上である場合、溶接中であると判定し、閾値未満である場合、溶接中で無いと判定することができる。
なお、溶接によって発生する磁場を検出し、溶接中であるか否かを判定しても良い。また、溶接トーチの操作状態に係る情報を取得し、溶接トーチがオン操作された場合、溶接中であると判定するように構成しても良い。
【００３３】
表示処理部６ｆは、判定部６ｅが溶接中で無いと判定した場合、第１特定部６ｂにて特定されたワークＷの位置に合わせて、溶接線画像Ｃ１１を重畳表示させる。判定部６ｅが溶接中であると判定した場合、推定部６ｄにて推定されたワークＷの位置に合わせて、溶接線画像Ｃ１１及び輪郭線画像Ｃ１２を重畳表示させる。
【００３４】
溶接線情報取得部６ｇは、第１撮像部３にて撮像された画像におけるワークＷの溶接箇所を示す溶接線位置情報を、通信部７にて取得する。
【００３５】
輪郭線情報取得部６ｈは、第１撮像部３にて撮像された画像におけるワークＷの輪郭を示す輪郭位置情報を、通信部７にて取得する。
【００３６】
記憶部６１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリである。記憶部６１は、制御部６によって算出された第１及び第２撮像部３，４の位置及び姿勢、ワークＷ及び周囲構造物Ｂ（図４、図５参照）の特徴点Ｐの座標、並びに溶接線位置情報及び輪郭位置情報を記憶する。
【００３７】
図３は溶接支援に係る制御部６の処理手順を示すフローチャート、図４は第１及び第２撮像部３，４の撮像範囲を示す模式図、図５は第１及び第２撮像部３，４にて特定される特徴点Ｐを示す模式図である。溶接面１の電源がオンになった場合、又は所定の動作開始操作が行われた場合、制御部６は以下の処理を実行し、電源がオフになった場合、処理を終了する。溶接面１を用意し、制御部６が下記の処理を実行することによって、本実施形態に係る溶接支援方法が実現される。
【００３８】
まず、制御部６の画像取得部６ａは、第１撮像部３から時系列的に出力される複数の画像データを取得する（ステップＳ１１）。図４に示すように、第１撮像部３は溶接工Ａの視線方向を撮像しており、溶接開始前後においては、第１撮像部３にて撮像して得られる画像にはワークＷの画像が含まれる。
【００３９】
次いで、制御部６の第１特定部６ｂは、画像取得部６ａが取得した画像データに基づいて、当該画像に含まれる複数の特徴点Ｐを抽出する（ステップＳ１２）。制御部６は、複数フレームの画像データ毎に３つ以上の特徴点Ｐを抽出する。特徴点Ｐは、静的な構造物に係る画像であり、例えば公知のＫＬＴ（Kanade-Lucas-Tomasi Feature Tracker）法にて抽出することができる。ここで抽出される特徴点Ｐの位置は第１撮像部３のデジタル画像座標系における座標で表される。
【００４０】
次いで、制御部６の第１特定部６ｂは、溶接面１の位置及び姿勢の変化に伴って、変化する各画像データにおける特徴点Ｐの位置変化に基づいて、世界座標系における第１撮像部３の位置及び姿勢、並びにワークＷの特徴点Ｐの位置を特定する（ステップＳ１３）。
【００４１】
次いで、制御部６の画像取得部６ａは、第２撮像部４から時系列的に出力される複数の画像データを取得する（ステップＳ１４）。図４に示すように、第２撮像部４は溶接工Ａの視線方向と逆向きの方向を撮像している。通常、第２撮像部４にて撮像して得られる画像にはワークＷの画像が含まれず、溶接作業現場の周囲構造物Ｂが撮像される。
【００４２】
次いで、制御部６の第２特定部６ｃは、画像取得部６ａが画像データに基づいて、当該画像に含まれる複数の特徴点Ｐを抽出する（ステップＳ１５）。ここでも制御部６は、複数の画像データ毎に３つ以上の特徴点Ｐを抽出する。特徴点Ｐの位置は、第２撮像部４のデジタル画像座標系における座標で表すことができる。
【００４３】
次いで、制御部６の第２特定部６ｃは、溶接面１の位置及び姿勢の変化に伴って、変化する各画像データにおける特徴点Ｐの位置変化に基づいて、世界座標系における第２撮像部４の位置及び姿勢、並びに周囲構造物Ｂの位置を特定する（ステップＳ１６）。
【００４４】
なお、第２撮像部４の位置及び姿勢並びに特徴点Ｐを表す世界座標系は、第１撮像部３の位置及び姿勢並びに特徴点Ｐを表すための世界座標系と同一座標系となるように定めると良い。また長さのスケールも合わせておくと良い。例えば、ある期間における第１撮像部３の平行移動量と、第２撮像部４の平行移動量とを一致させるようにスケールを整合させれば良い。
【００４５】
次いで、制御部６は、通信部７にてワークＷの溶接箇所を示す溶接線位置情報と、ワークＷの輪郭線を示す輪郭線位置情報とを取得する（ステップＳ１７）。溶接線位置情報及び輪郭線位置情報は、第１撮像部３にて撮像された画像における溶接線及び輪郭線の位置であるため、制御部６は、世界座標系における溶接線及び輪郭線の座標位置に変換しておくと良い。
【００４６】
次いで、ステップＳ１１〜ステップＳ１７の処理で特定される第１撮像部３及び第２撮像部４の位置及び姿勢、ワークＷ及び周囲構造物Ｂの特徴点Ｐの座標、溶接線位置情報及び輪郭線位置情報を記憶部６１に記憶させる（ステップＳ１８）。
【００４７】
次いで、制御部６は、溶接中であるか否かを判定する（ステップＳ１９）。例えば、制御部６は、第１撮像部３にて撮像して得た画像の平均輝度が閾値以上である場合、溶接中であると判定する。
【００４８】
溶接中で無いと判定した場合（ステップＳ１９：ＮＯ）、制御部６は、遮光板３１の遮光度を所定の低遮光度に設定する（ステップＳ２０）。そして、制御部６の表示処理部６ｆは、第１撮像部３にて撮像して得た画像におけるワークＷの特徴点Ｐの位置を特定し（ステップＳ２１）、第１撮像部３にて撮像して得た画像におけるワークＷの位置に合わせて、溶接作業を支援するための溶接線画像Ｃ１１を表示部５に重畳表示させる（ステップＳ２２）。ステップＳ２２の処理を終えた制御部６は、処理をステップＳ１１へ戻し、第１撮像部３及び第２撮像部４の自己位置推定、並びに特徴点Ｐのマッピングを継続して実行する。
【００４９】
溶接中であると判定した場合（ステップＳ１９：ＹＥＳ）、制御部６は、遮光板３１の遮光度を所定の高遮光度に設定する（ステップＳ２３）。そして、制御部６の第２特定部６ｃは、第２撮像部４にて撮像して得た画像に基づいて第２撮像部４の位置及び姿勢を特定（ステップＳ２４）。
【００５０】
次いで、制御部６の第２特定部６ｃは、ステップＳ２４にて特定した第２撮像部４の位置及び姿勢と、既知の第１撮像部３及び第２撮像部４の位置関係とに基づいて、世界座標系における第１撮像部３の位置及び姿勢を特定する（ステップＳ２５）。
【００５１】
制御部６の推定部６ｄは、記憶部６１が記憶する世界座標系におけるワークＷの特徴点Ｐの座標と、第１撮像部３の位置及び姿勢とに基づいて、第１撮像部３のデジタル画像座標系におけるワークＷの特徴点Ｐの座標を算出する（ステップＳ２６）。つまり、制御部６は、世界座標系におけるワークＷの特徴点Ｐの位置と、第１撮像部３の位置及び姿勢に基づいて、第１撮像部３にて撮像された画像におけるワークＷの位置を推定する。当該推定は座標変換等の演算処理によって実現される。
【００５２】
次いで、制御部６の表示処理部６ｆは、第１撮像部３にて撮像して得た画像における特定されたワークＷの特徴点Ｐの位置に合わせて、溶接作業を支援するための溶接線画像Ｃ１１及び輪郭線画像Ｃ１２を表示部５に重畳表示させる（ステップＳ２７）。ステップＳ２７の処理を終えた制御部６は、処理をステップＳ１１へ戻し、第１撮像部３及び第２撮像部４の自己位置推定、並びに特徴点Ｐのマッピングを継続して実行する。
【００５３】
図６は実施形態に係る溶接線画像Ｃ１１及び輪郭線画像Ｃ１２の表示例を示す模式図である。図６Ａは非溶接中に重畳表示される溶接線画像Ｃ１１を示す模式図、図６Ｂは溶接中に第１撮像部３にて得られる画像を示す模式図、図６Ｃは溶接中に重畳表示される輪郭線画像Ｃ１２を示す模式図である。図６中、星印はアーク光を示している。
【００５４】
図６Ａに示すように、溶接を開始する前は第１撮像部３にてワークＷの鮮明な画像を得ることができている。制御部６は、例えば、溶接箇所を示す溶接線画像Ｃ１１を、ワークＷの位置に合わせて第１撮像部３の画像に重畳表示させる。
【００５５】
図６Ｂに示すように、溶接作業を行っている溶接工ＡはワークＷを見ているため、第１撮像部３にはアークの強い光が入射する。このため、第１撮像部３はワークＷの鮮明な画像を得ることができ無い。
そこで、制御部６は、図６Ｃに示すように、ワークＷの輪郭及び溶接箇所を示す溶接線画像Ｃ１１及び輪郭線画像Ｃ１２の双方を表示する。
【００５６】
このように構成された溶接面１によれば、溶接中においても、溶接工Ａの視野方向を撮像して得られる画像におけるワークＷの位置を推定することができ、溶接作業を支援するための溶接線画像Ｃ１１及び輪郭線画像Ｃ１２をワークＷの位置に合わせて重畳表示することができる。アーク光の影響によりワークＷが視認し難くなる状況で、溶接箇所を示す溶接線画像Ｃ１１、ワークＷの輪郭線を示す輪郭線画像Ｃ１２を表示部５に重畳表示することによって、溶接工Ａによる溶接作業を支援することができる。
【００５７】
また、制御部６は、ワークＷの画像が得られているときは、当該画像を用いてワークＷの位置を直接的に認識し、正確な位置に溶接線画像Ｃ１１を表示することができる。ワークＷの画像が得られないときは、演算処理によってワークＷの位置を推定し、溶接線画像Ｃ１１及び輪郭線画像Ｃ１２を表示することができる。
【００５８】
更に、非透過型のディスプレイにワークＷの画像並びに溶接線画像Ｃ１１及び輪郭線画像Ｃ１２が表示され、溶接工Ａは当該ディスプレイに表示されたワークＷの画像及び溶接線画像Ｃ１１及び輪郭線画像Ｃ１２を視認することができる。アーク光が溶接工Ａの目に入射することを完全に防ぐことができる。
【００５９】
更にまた、溶接中及び非溶接中を判別し、各状況に応じて表示する溶接線画像Ｃ１１及び輪郭線画像Ｃ１２を変更することができる。具体的には、非溶接中はワークＷの鮮明な画像が得られているため、輪郭線画像Ｃ１２は表示せず、溶接線画像Ｃ１１を表示する。一方、溶接中はワークＷの鮮明な画像が得られないため、溶接線画像Ｃ１１及び輪郭線画像Ｃ１２の双方を表示することができる。
【００６０】
なお、上記実施形態では、第１撮像部３及び第２撮像部４が同性能の単眼動画カメラである例を説明したが、第１撮像部３及び第２撮像部４は異なる解像度を有するように構成しても良い。例えば、第１撮像部３は、第２撮像部４に比べて解像度が高い解像度を有するように構成すると良い。溶接面１の位置及び姿勢を補助的に認識する第２撮像部４の解像度を、ワークＷ撮像用の第１撮像部３に比べて低解像度とすることにより、溶接面１を低コストで構成することができる。
【００６１】
また、第１撮像部３及び第２撮像部４を単眼動画カメラで構成する例を説明したが、第１撮像部３又は第２撮像部４をステレオカメラで構成しても良い。
【００６２】
今回開示された実施形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６３】
１  溶接面
２  溶接面本体
３  第１撮像部
４  第２撮像部
５  表示部
５ａ  光学変調素子
６  制御部
６ａ  画像取得部
６ｂ  第１特定部
６ｃ  第２特定部
６ｄ  推定部
６ｅ  判定部
６ｆ  表示処理部
６ｇ  溶接線情報取得部
６ｈ  輪郭線情報取得部
７  通信部
８  通信端末
３１  遮光板
６１  記憶部
Ａ  溶接工
Ｂ  周囲構造物
Ｃ１１  溶接線画像
Ｃ１２  輪郭線画像
Ｐ  特徴点
Ｗ  ワーク
【図１】
2019198882.tif 000003
【図２】
2019198882.tif 000004
【図３】
2019198882.tif 000005
【図４】
2019198882.tif 000006
【図５】
2019198882.tif 000007
【図６】
2019198882.tif 000008