(57)【要約】      （修正有）【課題】溶接作業順序立てのための拡張現実インタフェースを提供する。【解決手段】作業シーケンスのための拡張現実ディスプレイを介して溶接工に視覚的合図を提供するシステム。このシステムは、溶接するべきアセンブリの向きを特定する撮像装置を含む。溶接作業は、アセンブリ上の、溶接工が作業を行うべき場所に関連付けられる。現在の視野とアセンブリの向きに基づいて、システムは、アセンブリ上のその場所が溶接工の視野内にあるか否かを判断し、向きと視野に基づいて溶接工に視覚的合図を提供する。溶接装置の電源は、溶接工程中に受け取った画像データに基づいて変化させてもよい。【選択図】図３
2017039168.tif 000002
【特許請求の範囲】
【請求項１】
一連の作業中に溶接工に視覚的合図を提供するシステムにおいて、
撮像装置と、
ディスプレイと、
プロセッサと、
を含み、
前記プロセッサは前記撮像装置から画像データを取得し、前記画像データは、溶接工の視野内で見える、アセンブリの中の溶接するべき少なくとも一部を含み、
前記プロセッサは、所定の複数の作業から、実行するべき第一の作業を決定し、
前記プロセッサは、第一の視覚的合図を生成して、前記第一の視覚的合図が前記ディスプレイ上に表示されるようにし、
前記第一の視覚的合図は、溶接工が前記第一の作業を実行しやすくする
ことを特徴とするシステム。
【請求項２】
請求項１に記載のシステムにおいて、
前記ディスプレイは溶接ヘルメットに取り付けられた透明表面であることを特徴とするシステム。
【請求項３】
請求項１に記載のシステムにおいて、
前記ディスプレイは溶接ヘルメットに取り付けられたビデオスクリーンであることを特徴とするシステム。
【請求項４】
請求項１に記載のシステムにおいて、
前記プロセッサはさらに、前記溶接工の前記視野を前記画像データに基づいて判断することを特徴とするシステム。
【請求項５】
請求項１に記載のシステムにおいて、
前記撮像装置は前記溶接工のヘルメットに取り付けられることを特徴とするシステム。
【請求項６】
請求項１に記載のシステムにおいて、
第二の撮像装置をさらに含み、
前記プロセッサは前記第二の装置から第二の画像データを取得し、
前記プロセッサは、前記溶接工の前記視野を前記第二の画像データに基づいて判断する
ことを特徴とするシステム。
【請求項７】
請求項１に記載のシステムにおいて、
１つまたは複数のセンサをさらに含み、
前記１つまたは複数のセンサは前記溶接工の少なくとも一部の移動をモニタし、
前記プロセッサは、前記溶接工の現在位置を示すセンサ情報を前記センサから取得し、
前記プロセッサは、前記溶接工の前記視野を、前記センサ情報に基づいて判断する
ことを特徴とするシステム。
【請求項８】
請求項１に記載のシステムにおいて、
前記撮像装置は、前記アセンブリ上の溶接するべき点に関連する１つまたは複数のタグの画像データを取得し、
前記プロセッサは、前記溶接工に関する前記アセンブリの向きを、前記１つまたは複数のタグに基づいて判断し、
前記第一の視覚的合図は、前記向きと前記溶接工の前記視野に基づいて提供される
ことを特徴とするシステム。
【請求項９】
請求項１に記載のシステムにおいて、
前記第一の作業は前記アセンブリ上のある場所を検査することであることを特徴とするシステム。
【請求項１０】
請求項１に記載のシステムにおいて、
前記第一の作業は前記アセンブリ上の２つの場所間の線状溶接であることを特徴とするシステム。
【請求項１１】
請求項１に記載のシステムにおいて、
前記第一の作業は前記アセンブリ上の溶接場所での溶接であることを特徴とするシステム。
【請求項１２】
請求項１１に記載のシステムにおいて、
前記プロセッサは前記溶接場所が前記溶接工から見えることを、前記向きと前記溶接工の前記視野に基づいて判断し、
前記第一の視覚的合図は前記ディスプレイ上に、前記溶接工にとって、前記アセンブリ上の前記溶接場所にあるように見えるように表示される
ことを特徴とするシステム。
【請求項１３】
請求項１１に記載のシステムにおいて、
前記プロセッサは、前記溶接が前記溶接工から見えないことを、前記向きと前記溶接工の前記視野に基づいて判断し、
前記第一の視覚的合図は、前記溶接工が前記視野を調整して、前記溶接場所が前記溶接工の前記視野内に入るようにしやすくする
ことを特徴とするシステム。
【請求項１４】
請求項１に記載のシステムにおいて、
実行するべき第二の作業が複数の作業から判断され
前記プロセッサは第二の視覚的合図を生成し、その後、前記第二の視覚的合図を前記ディスプレイに提供する
ことを特徴とするシステム。
【請求項１５】
請求項１４に記載のシステムにおいて、
前記プロセッサは前記第一の作業が完了したことを確認し、
前記プロセッサは、前記第一の作業の完了が確認されるまで、前記第二の視覚的合図を提供しない
ことを特徴とするシステム。
【請求項１６】
請求項１５に記載のシステムにおいて、
前記プロセッサは、前記第一の作業が完了したことを前記画像データに基づいて確認することを特徴とするシステム。
【請求項１７】
請求項１５に記載のシステムにおいて、
赤外線装置をさらに含み、
前記赤外線装置は前記プロセッサに赤外線データを供給し、
前記プロセッサは、前記第一の作業が完了したことを、前記赤外線データに基づいて確認する
ことを特徴とするシステム。
【請求項１８】
請求項１５に記載のシステムにおいて、
前記第一の作業が完了したことの確認は、前記第一の作業が正しく実行されたことの確認を含むことを特徴とするシステム。
【請求項１９】
請求項１５に記載のシステムにおいて、
電源をさらに含み、
前記電源は溶接装置に電力を供給し、
前記プロセッサは、前記溶接工が前記第一の作業を完了したことを判断し、
前記プロセッサは、前記溶接工が前記第一の作業を完了したことを前記プロセッサが確認した後に、前記電源に対し、前記溶接装置への電力供給を中断するように指示を与え、
前記プロセッサは、前記第一の作業の完了が確認されたら、前記電源に対し、前記溶接装置に電力を供給するように指示を与える
ことを特徴とするシステム。
【請求項２０】
一連の作業中に溶接工に視覚的合図を提供する方法において、
アセンブリ情報を受け取るステップであって、前記アセンブリ情報は溶接するべきアセンブリの識別子を含むようなステップと、
一連の作業を前記アセンブリ情報に基づいて特定するステップであって、前記一連の作業は所定のシーケンスの順序で配置され、各作業がシーケンス番号、作業の種類、および前記アセンブリ上で前記作業が実行される作業場所を含むようなステップと、
前記一連の作業から、実行するべき溶接作業をそのシーケンス番号に基づいて選択するステップと、
ディスプレイに提供する視覚的合図を、前記溶接工に関する前記アセンブリの向きと前記溶接作業の種類に基づいて決定するステップと、
前記ディスプレイを介して、前記溶接工の視野内で前記視覚的合図を提供して、前記溶接工が前記溶接作業を実行しやすくするステップと、
を含むことを特徴とする方法。
【請求項２１】
請求項２０に記載の方法において、
前記視覚的合図を判断するステップは、
前記溶接工の前記視野を判断するステップと、
前記溶接工の前記視野と前記アセンブリの前記向きに基づいて、前記作業場所が前記溶接工の前記視野内にあるか否かを判断するステップと、
前記作業場所が前記溶接工の前記視野内にあるか否かに基づいて前記視覚的合図を選択するステップと、
を含むことを特徴とする方法。
【請求項２２】
請求項２１に記載の方法において、
前記作業場所が前記溶接工の前記視野内になければ、
前記溶接工が前記視野を調整して前記作業場所が前記溶接工の前記視野内に入るようにしやすくするための前記視覚的合図を決定するステップと、
前記作業場所が前記溶接工の前記視野内に入るまで、前記溶接工の前記視野と前記アセンブリの前記向きをモニタするステップと、
前記アセンブリの前記向きと前記作業の前記種類に基づいて第二の視覚的合図を決定するステップと、
前記ディスプレイを介して、前記第二の視覚的合図を前記溶接工の前記視野内に提供するステップと、
をさらに含むことを特徴とする方法。
【請求項２３】
請求項２２に記載の方法において、
前記視覚的合図は、前記作業場所が前記視野内に入るように前記溶接工が前記視野の位置を変えるように移動させる方向を示す矢印であることを特徴とする方法。
【請求項２４】
請求項２２に記載の方法において、
前記視覚的合図は、前記作業が前記視野内に入るように前記アセンブリの位置変更を示す矢印であることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、拡張現実システムに関し、より詳しくは、溶接工程中に溶接工に視覚的合図を提供する拡張現実システムに関する。
【０００２】
参照による援用
２０１４年１０月２９日に出願された（特許文献１）は、本出願の主題に関連し得る情報を含んでいる。同出願の開示全体を、その中に参照により援用されているすべての特許および／または出願を含め、参照によりことごとく本明細書に援用する。
【背景技術】
【０００３】
一連の溶接を実行する際、溶接工は通常、特定の順序または特定の方法で作業を行う必要がある。溶接またはその他の作業が誤った順序で行われると、例えば溶接シーケンスが（完了したとしても）適正には完了できないこと、および／または完成品の欠陥、部品の反り、その他の問題が後になって生じうる。一連の溶接作業が必要な場合、溶接工には、実行するべき特定の作業、アセンブリ全体の中でその作業を行うべき場所、およびその作業を実行するべき順序を示すための文章による説明および図が提供されるであろう。場合によっては、溶接工は、溶接工に各種の作業の場所およびやり方の画像および／または動画を提供するビデオスクリーンを有するかもしれない。しかしながら、文章や画像による溶接作業順序立て情報はしばしば、溶接工により見落とされたり、誤解されたり、さらには無視されたりすることがある。これは特に、溶接工が特定の溶接シーケンスに慣れると起こりうる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願第１４／５２６，９１４号明細書
【発明の概要】
【０００５】
溶接工は、多数の別々の部品を含み、独立した溶接を何か所も行う必要のあるアセンブリ上に一連の作業を実行しなければならないかもしれない。溶接工には拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）（ＡＲ）システムが提供され、これは必要な作業の実行過程で溶接工に視覚的合図を提供する。ＡＲシステムは、撮像装置を介して、溶接するべきアセンブリの向きを特定し、溶接工により行われるべき溶接作業を特定し、その後、ディスプレイを介して溶接工に提供するべき視覚的合図を決定する。視覚的合図は、作業の実行において溶接工を支援するための情報で溶接工に行動を促す。例えば、視覚的合図は溶接場所に関するものであってもよく、合図はシステムにより、合図がアセンブリ上の、溶接を行うべき場所の上に重なって表示されるように提供されてもよい。ＡＲシステムは、溶接作業を確認するための赤外線画像データの使用等、その他の溶接関連機能をサポートする。
【０００６】
１つの実施形態において、一連の作業中に溶接工に視覚的合図を提供するシステムが提供され、これは、撮像装置と、ディスプレイと、プロセッサと、を含み、プロセッサは撮像装置から画像データを取得し、画像データは、溶接工の視野内で見える、アセンブリの中の溶接するべき少なくとも一部を含み、プロセッサは、所定の複数の作業から、実行するべき第一の作業を決定し、プロセッサは第一の視覚的合図を生成して、第一の視覚的合図がディスプレイ上に表示されるようにし、第一の視覚的合図は溶接工が第一の作業を実行しやすくする。システムは、以下の特徴のうちの１つまたは複数を含んでいてもよい。
【０００７】
いくつかの実施形態において、ディスプレイは溶接ヘルメットに取り付けられた透明表面であってもよい。
【０００８】
いくつかの実施形態において、ディスプレイは溶接ヘルメットに取り付けられたビデオスクリーンであってもよい。
【０００９】
いくつかの実施形態において、プロセッサはさらに、溶接工の視野を画像データに基づいて判断してもよい。
【００１０】
いくつかの実施形態において、撮像装置は溶接工のヘルメットに取り付けられていてもよい。
【００１１】
いくつかの実施形態において、システムは第二の撮像装置をさらに含んでいてもよく、プロセッサは第二の装置から第二の画像データを取得し、プロセッサは、溶接工の視野を第二の画像データに基づいて判断する。
【００１２】
いくつかの実施形態において、システムは１つまたは複数のセンサを含んでいてもよく、１つまたは複数のセンサは溶接工の少なくとも一部の移動をモニタし、プロセッサは溶接工の現在位置を示すセンサ情報をセンサから取得し、プロセッサは、溶接工の視野をセンサ情報に基づいて判断する。
【００１３】
いくつかの実施形態において、撮像装置は、アセンブリ上の溶接するべき点に関連する１つまたは複数のタグの画像データを取得してもよく、プロセッサは、溶接工に関するアセンブリの向きを、１つまたは複数のタグに基づいて判断してもよく、第一の視覚的合図は、その向きと溶接工の視野に基づいて提供される。
【００１４】
いくつかの実施形態において、第一の作業はアセンブリ上のある場所を検査することであってもよい。
【００１５】
いくつかの実施形態において、第一の作業はアセンブリ上の２つの場所間の線状溶接であってもよい。
【００１６】
いくつかの実施形態において、第一の作業は、アセンブリ上の溶接場所での溶接であってもよい。これらの実施形態のいくつかにおいて、プロセッサは溶接場所が溶接工から見えることを、向きおよび溶接工の視野に基づいて判断してもよく、第一の視覚的合図はディスプレイ上に、溶接工にとって、アセンブリ上の溶接場所にあるように見えるように表示されてもよい。これらの実施形態のいくつかにおいて、プロセッサは、溶接が溶接工から見えないことを、向きと溶接工の視野に基づいて判断してもよく、第一の視覚的合図は、溶接工が視野を調整して、溶接場所が溶接工の視野内に入るようにしやすくしてもよい。
【００１７】
いくつかの実施形態において、実行するべき第二の作業が複数の作業から判断されてもよく、プロセッサは、第二の視覚的合図を生成してもよく、その後、第二の視覚的合図をディスプレイ上に提供する。これらの実施形態のいくつかにおいて、プロセッサは、第一の作業が完了したことを確認してもよく、プロセッサは、第一の作業が確認されるまで、第二の視覚的合図を提供しなくてもよい。これらの態様のいくつかにおいて、プロセッサは、第一の作業が完了したことを画像データに基づいて確認してもよい。他の態様において、システムは赤外線装置をさらに含んでいてもよく、この赤外線装置はプロセッサに赤外線データを供給し、プロセッサは、第一の作業が完了したことを、赤外線データに基づいて確認する。他の態様において、第一の作業が完了したことの確認は、第一の作業が正しく実行されたことの確認を含んでいてもよい。他の態様において、システムは電源をさらに含んでいてもよく、電源は溶接装置に電力を供給し、プロセッサは、溶接工が第一の作業を完了したことを判断し、プロセッサは、溶接工が第一の作業を完了したことをプロセッサが確認した後に、電源に対し、溶接装置への電力供給を中断するように指示を与え、プロセッサは、第一の作業が確認されたら、電源に対し、溶接装置に電力を供給するように指示を与える。
【００１８】
他の実施形態において、一連の作業中に溶接工に視覚的合図を提供する方法が提供され、これは、アセンブリ情報を受け取るステップであって、アセンブリ情報は溶接するべきアセンブリの識別子を含むようなステップと、一連の作業をアセンブリ情報に基づいて特定するステップであって、一連の作業は所定のシーケンスの順序で配置され、各作業がシーケンス番号、作業の種類、およびアセンブリ上で作業が実行される作業場所を含むようなステップと、一連の作業から、実行するべき溶接作業をそのシーケンス番号に基づいて選択するステップと、ディスプレイに提供する視覚的合図を溶接工に関するアセンブリの向きおよび溶接作業の種類に基づいて決定するステップと、ディスプレイを介して、溶接工の視野内で視覚的合図を提供して、溶接工が溶接作業を実行しやすくするステップと、を含む。この方法は、以下の特徴のうちの１つまたは複数を含んでいてもよい。
【００１９】
いくつかの実施形態において、視覚的合図を判断するステップは、溶接工の視野を判断するステップと、溶接工の視野およびアセンブリの向きに基づいて、作業場所が溶接工の視野内にあるか否かを判断するステップと、作業場所が溶接工の視野内にあるか否かに基づいて視覚的合図を選択するステップと、を含んでいてもよい。これらの実施形態のいくつかにおいて、作業場所が溶接工の視野内になければ、方法は、溶接工が視野を調整して作業場所が溶接工の視野内に入るようにしやすくするための視覚的合図を決定するステップと、作業場所が溶接工の視野内に入るまで、溶接工の視野およびアセンブリの向きをモニタするステップと、アセンブリの向きと作業の種類に基づいて第二の視覚的合図を決定するステップと、ディスプレイを介して、第二の視覚的合図を溶接工の視野内に提供するステップと、をさらに含んでいてもよい。視覚的合図は、作業場所が視野内に入るように溶接工が視野の位置を変えるように移動させる方向を示す矢印であってもよい。視覚的合図は、作業が視野内に入るようにアセンブリの位置変更を示す矢印であってもよい。
【００２０】
例示的な実施形態に関する以下の詳細な説明、特許請求の範囲、および添付の図面から、全体的な発明的概念の様々な態様が容易に明らかとなるであろう。
【図面の簡単な説明】
【００２１】
明細書に組み込まれ、その一部を構成する添付の図面の中で、本発明の実施形態が示されており、これらは上述の本発明の概要および以下の詳細な説明と共に全体的な発明的概念の例示的実施形態を説明する役割を果たす。
【００２２】
【図１】図１は、ある例示的な実施形態による拡張現実システムのブロック図である。
【図２】図２は、ある例示的な実施形態による、一連の溶接に関する情報の表である。
【図３】図３は、ある例示的な実施形態による、一連の溶接作業中に合図を提供する方法のフローチャートである。
【図４】図４は、図１のシステムの動作と図３の方法を示す略図である。
【図５Ａ】図５Ａは、図１のシステムおよび図３の方法を介して溶接工に提供される視覚的合図の例を示す略図である。
【図５Ｂ】図５Ｂは、図１のシステムおよび図３の方法を介して溶接工に提供される視覚的合図の例を示す略図である。
【図６Ａ】図６Ａは、図１のシステムおよび図３の方法を介して溶接工に提供される視覚的合図の例を示す略図である。
【図６Ｂ】図６Ｂは、図１のシステムおよび図３の方法を介して溶接工に提供される視覚的合図の例を示す略図である。
【図７】図７は、ある例のコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００２３】
ここで、本発明の例示的な実施形態を示すことのみを目的としており、これを限定しようとはしていない図面を参照すると、図１は、一連の溶接作業中に溶接工に視覚的合図を提供するための、ある例示的なシステムを開示している。システム１００は、溶接作業順序立てプロセッサ１０５と、撮像装置１１５と、ディスプレイ１２０と、赤外線装置１２５と、を含む。これらの構成要素は、通信ネットワーク１０１を介して通信している。通信ネットワーク１０１は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、Ｂｌｕｅｔｏｏｔｈ、ＲＦ、またはＮＦＣをはじめとする、１つまたは複数の有線または無線ネットワークプロトコルまたは接続を含んでいてもよい。１つの例示的な実施形態において、通信ネットワーク１０１はインターネットを利用してもよい。いくつかの実施形態において、図１に示されている１つまたは複数の構成要素、例えば赤外線装置１２５はなくてもよい。いくつかの実施形態において、図１に示されている１つまたは複数の構成要素は、単一の構成要素の中に統合され、またはそれ以外に組み合わされてもよい。例えば、溶接作業順序立てプロセッサ１０５は、溶接ヘルメットの中にディスプレイ１２０と共に含められてもよい。いくつかの実施形態において、また別の構成要素が存在してもよい。例えば、複数の撮像装置１１５、例えば複数のビデオカメラがシステムに含められてもよく、各々が溶接面の異なる角度および／または方位を捕捉してもよい。いくつかの実施形態において、図１の構成要素のうちの１つまたは複数は、図７に示されるコンピュータシステムの特徴を含んでいてもよい。例えば、溶接装置システム１３０および／または溶接作業順序立てプロセッサ１０５は、図７に示され、本明細書中で説明されるコンピュータシステムの構成要素のうちの１つまたは複数を含んでいてもよい。
【００２４】
溶接作業順序立てプロセッサ１０５は、アセンブリ上に実行するべき一連の溶接作業を特定し、ディスプレイ１２０を介して溶接工に視覚的合図を提供する。溶接作業順序立てプロセッサ１０５は、入力として、溶接するべきアセンブリの識別子を受け取り、それに基づいて、アセンブリ上に実行するべき一連の溶接を、シーケンスデータベース１１０を介して特定してもよい。アセンブリは、相互に溶接する必要のある１つまたは複数の部品を含んでいてもよい。例えば、「アセンブリ」とは、本明細書で使用されるかぎり、１つまたは複数の別々の、または部分的に接続された構造を含んでいてもよい。いくつかの実施形態において、溶接工は、アセンブリ番号またはアセンブリに関連付けられる部品番号を特定するか、またはそれ以外に受け取り、識別番号を溶接作業順序立てプロセッサ１０５に提供してもよい。例えば、アセンブリまたはそのアセンブリの１つまたは複数の部品は、それに関連付けられた英数字コードを有していてもよく、溶接工は、関連する番号を溶接作業順序立てプロセッサ１０５にキーボードまたはその他の入力装置、例えばバーコードスキャナ等を介して入力してもよい。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、アセンブリの画像データを受け取り、この画像データを処理することによってアセンブリを特定してもよい。例えば、溶接作業順序立てプロセッサ１０５は、アセンブリの形状および大きさを、撮像装置１１５により提供されるアセンブリの画像を処理することによって判断し、判断された形状および大きさをプロファイルデータベースの中の、それと適合する可能性のある部品と比較してもよい。他の例として、溶接作業順序立てプロセッサ１０５は、視覚的画像データを使って、アセンブリ上またはその付近にあるコード（例えば、ＵＰＣコードまたはその他の機械判読可能コード）を特定してもよい。
【００２５】
溶接作業順序立てプロセッサ１０５は、シーケンスデータベース１１０を介して溶接の１つまたは複数のシーケンスを特定してもよい。あるアセンブリについて、シーケンスデータベース１１０は、その部品について実行するべき一連の作業に関する情報を含んでいてもよい。作業は例えば、各種の溶接技術を利用して様々な種類の溶接を実行すること、アセンブリの１つまたは複数の部品の位置を変更すること、１つまたは複数の部品を相互に関して位置変更すること、および／または溶接工程中に必要となりうるその他の作業を含んでいてよい。各作業に関して、シーケンスデータベース１１０は、溶接アセンブリ上のどこに特定の作業を実行するべきかを示す場所情報を含んでいてもよい。例えば、線状溶接の場合、シーケンスデータベース１１０は、アセンブリ上の始点および終点の位置座標（または溶接ラインに沿った一連の位置の座標）を有していてもよい。また、例えば、シーケンスデータベース１１０は、アセンブリ上の部品の正しい位置を示す向き情報を有していてもよい。
【００２６】
あるアセンブリについて、シーケンスデータベース１１０は、厳しい順序立て要件のある一連の作業を示していてもよい。図２を参照すると、実行するべき一連の作業が示されている。シーケンスデータベース１１０の各レコードについて、部品番号２０５、シーケンス番号２１０、作業の種類２１５、および場所情報２２０が提供される。図２に示される例において、作業は識別子「１２３４５」のアセンブリのためのものであり、これは溶接工によって特定され、溶接作業順序立てプロセッサ１０５に入力されても、または本明細書中で説明されているように、それ以外に溶接作業順序立てプロセッサ１０５によって特定されてもよい。特定された各作業はシーケンス番号を含み、これは、溶接シーケンスの中で、いつその作業が行われるべきかを示す。例えば、作業２０１はアセンブリ「１２３４５」に実行するべき一連の作業の中の第一の作業であり、作業２０２はアセンブリ「１２３４５」に実行するべき第二の作業であり、作業２０３はアセンブリ「１２３４５」に実行するべき第三の作業である。このシーケンスから逸脱すると、生産効率の低下、安全性の低下、品質の低下等の問題を生じさせかねない。各作業は作業の種類２１５を含み、これはその作業を完了するために溶接工が何の動作を実行するべきかを示す。例えば、作業２０１は「線状溶接」であり、作業２０２は「スポット溶接」であり、作業２０３は「溶接の検査」である。作業の各々はこれに加えて、特定の場所２２０に関連付けられる。場所は、例えば作業２０２および２０３のように点の場所の場合は三次元デカルト座標によって、または作業２０１のように、より複雑な場所の場合は一連の座標によって特定されてもよい。
【００２７】
いくつかの実施形態において、溶接工はアセンブリを溶接する前に、溶接作業順序立てプロセッサ１０５に追加の情報を提供してもよい。例えば、溶接工は、現在の溶接工が現在のアセンブリを溶接する権限を有することを（例えば、溶接工の証明書および／または溶接工に関するその他の入手可能な情報を確認することによって）確認するための身分証明情報を提供してもよい。いくつかの実施形態において、溶接工は、溶接作業順序立てプロセッサ１０５に溶接装置の物理面に関する情報、例えばアセンブリの基本材料、溶接中に使用される消耗品、および／または電源の設定を提供してもよい。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、溶接装置システム１３０から溶接装置の物理面に関する情報を取得して、さらに、溶接工に視覚的合図を提供する前に、その設定が容認可能であることを確認してもよい。
【００２８】
画像装置１１５は、リアルタイムの視覚情報を捕捉し、この視覚情報を溶接作業順序立てプロセッサ１０５に、処理のために提供してもよい。いくつかの実施形態において、撮像装置１１５は、溶接工および溶接するべきアセンブリの付近の静止位置に位置付けられたビデオカメラであってもよい。例えば、撮像装置１１５は、溶接するべきアセンブリの上方に位置付けられてもよく、アセンブリの部品および溶接工の画像を捕捉して、その部品に関する溶接工の位置を判断し、さらに溶接工に関するアセンブリの向きを判断してもよい。いくつかの実施形態において、画像装置１１５は、溶接ヘルメットの外側等、溶接工に位置付けられてもよく、溶接工の視野に関する溶接するべきアセンブリ（およびアセンブリの向き）の画像を捕捉してもよい。いくつかの実施形態において、多数の撮像装置が利用されてもよい。例えば、静止撮像装置は、アセンブリの画像を捕捉して、参照点に関するアセンブリの向きを判断してもよく、溶接ヘルメット上の撮像装置は、溶接工に関する同じアセンブリの画像（すなわち、その溶接工に現在何が見えているかを反映する画像）を捕捉してもよい。
【００２９】
ディスプレイ１２０が溶接工に提供され、溶接工は、溶接中のアセンブリのほかにディスプレイ１２０上に提供される指示を見ることができる。いくつかの実施形態において、ディスプレイ１２０は、溶接工が作業を実行している間にスクリーン上に画像を投射する拡張現実ディスプレイであってもよい。例えば、ディスプレイ１２０は、例えばＤＡＱＲＩ技術やＧＯＯＧＬＥ  ＧＬＡＳＳ等、溶接ヘルメットに組み込まれる技術であってもよい。いくつかの実施形態において、ディスプレイ１２０は、ＬＣＤスクリーン等、撮像装置１１５により捕捉された画像を投射するビデオスクリーンであってもよい。例えば、ディスプレイ１２０は、溶接ヘルメットの内部の、溶接工の視野の中に位置付けられてもよく、撮像装置１１５は溶接ヘルメットの外側の、溶接工の視野の近くに位置付けられてもよく、撮像装置１１５からの動画がディスプレイ１２０上に表示されてもよい。
【００３０】
溶接装置システム１３０は、溶接トーチおよび溶接トーチ用電源を含んでいてもよい。溶接装置システム１３０は、溶接工が溶接工程中にパラメータを調整できるようにする１つまたは複数のインタフェースをさらに含んでいてもよい。例えば、溶接装置システム１３０は、作業中に溶接トーチに供給されている電流を調整するためのインタフェースを含んでいてもよい。いくつかの実施形態において、溶接装置システム１３０は、溶接作業順序立てプロセッサ１０５と通信してもよく、これは溶接工が作業を実行している間に１つまたは複数のパラメータを自動的に調整してもよい。また、例えば、溶接作業順序立てプロセッサ１０５は、トーチの動作中に溶接トーチへの電源供給を中断して、溶接工が作業を続けられないようにしてもよい。
【００３１】
図３を参照すると、溶接工に視覚的合図を提供するための方法のフローチャートが示されている。ステップ３０５で、作業シーケンス中の次の溶接作業が特定される。次の溶接作業は、溶接作業順序立てプロセッサ１０５と１つまたは複数の特性を共有する構成要素により特定されてもよい。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、現在溶接中のアセンブリをすでに特定していてもよく、シーケンスデータベース１１０内の溶接シーケンスを特定してもよい。例えば、溶接作業順序立てプロセッサ１０５は、アセンブリの中の現在溶接中の特定の部品番号を特定し、さらに、図２に示されている溶接を特定してもよい。
【００３２】
ステップ３１０で、アセンブリの向きが判断される。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、撮像装置１１５から画像データを受け取り、この画像データに基づいて、アセンブリの現在の向きを判断してもよい。例えば、アセンブリは１つまたは複数のマーカでタグ付けされてもよく、これは処理された画像データから特定でき、そのマーカに基づいて、溶接作業順序立てプロセッサ１０５はアセンブリの三次元の向きを判断してもよい。例えば、図４を参照すると、例示的な撮像装置のセットアップが示されている。撮像装置１１５は、それがアセンブリ４１０を含む画像を捕捉できるように位置付けられている。アセンブリ４１０にはマーカ４１５、４２０、および４２５でタグ付けされ、マーカの１つまたは複数が撮像装置１１５により捕捉された画像の中で見えるようになっている。溶接作業順序立てプロセッサ１０５は、画像データの中のマーカ４１５、４２０、および４２５を特定し、メモリ内に保存されたアセンブリの三次元モデルを再構成してもよい。
【００３３】
さらに、撮像装置１１５は、溶接工４３０の現在の視野を示す視野情報を受け取ってもよい。いくつかの実施形態において、撮像装置１１５は、溶接工の現在の場所を捕捉し、画像処理を通じて、溶接作業順序立てプロセッサ１０５は、溶接工４３０の現在の位置および視野を判断してもよい。いくつかの実施形態において、溶接工の撮像装置４３５は溶接工の現在の視野を捕捉して、視野画像情報を溶接作業順序立てプロセッサ１０５に供給し、溶接工の現在の視野を判断してもよい。いくつかの実施形態において、溶接工の撮像装置４３５は唯一の撮像装置であってもよく、溶接作業順序立てプロセッサ１０５は、溶接工の撮像装置４３５からの画像を利用して、アセンブリの向きおよび溶接工の視野の両方を判断してもよい。
【００３４】
いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、溶接工に関連付けられた１つまたは複数のセンサに基づいて、溶接工の現在の場所を判断してもよい。例えば、溶接工が着用する溶接ヘルメットはセンサを含んでいてもよく、これは、溶接作業順序立てプロセッサによって、溶接工が現在向いている方向、溶接工の視角を判断するために利用可能な空間座標、および／または溶接工がどのような位置付けにあり、現在溶接工には何が見えているかを判断するために利用可能なその他の座標を提供する。いくつかの実施形態において、溶接工の現在の場所を追跡し、判断するためにその他のセンサ、例えば加速度計、ソニックプローブ、およびレーダプローブが利用されてもよい。
【００３５】
ステップ３１５で、アセンブリの向きおよび溶接工の視野情報に基づいて、溶接作業順序立てプロセッサ１０５は、現在の溶接作業が溶接工に見えているか否かを判断してもよい。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、現在の溶接作業に関連付けられる１つの座標または座標群が、判断されたアセンブリの向きに基づいて溶接工の視野内で見えるか否かを判断してもよい。例えば、図５Ａを参照すると、溶接工の視野が示されている。溶接工は現在、アセンブリ４１０を見ている。溶接作業順序立てプロセッサ１０５は、本明細書に記載されているように、アセンブリ４１０の現在の向きおよび溶接工の視野を判断してもよく、さらに、図２に示されるように、シーケンスデータベース１１０に保存されている溶接作業のシーケンスから次の溶接作業を特定してもよい。例えば、溶接作業順序立てプロセッサ１０５は、実行するべき次の溶接作業として作業２０１を特定し、その作業（この場合、線状溶接）に関連する始点（１０、１５、２０）および終点（１０、１５、５０）をさらに特定してもよい。
【００３６】
現在の溶接作業が溶接工の視野内にあれば、ステップ３２０Ａで溶接作業の視覚的合図がディスプレイ１２０に提供される。溶接作業の各々の種類に関して、溶接作業順序立てプロセッサ１０５は、特定の種類の視覚的合図を溶接工に提供し、実行するべき作業の種類を特定してもよい。いくつかの実施形態において、視覚的合図としては、例えば溶接ライン、溶接を行う地点のインディケータ、溶接工が検査するべき場所を示す矢印、および溶接工がアセンブリの位置をどのように変更すべきかを示す矢印を含んでいてもよい。例えば、図５Ａを再び参照すると、溶接ライン５００がディスプレイ１１５に提供されて、溶接工がどこに溶接２０１を行うかを示す。視覚的合図は、ディスプレイ１２０を介して溶接工に対し、溶接工にとって視覚的合図がアセンブリ上の作業を実行するべき場所に見えるように提供されてもよい。溶接作業順序立てプロセッサ１０５は、アセンブリの向きおよび溶接工の視野に基づいて、ディスプレイ上のどこに視覚的合図を提供するべきかを判断してもよい。
【００３７】
いくつかの実施形態において、視覚的合図は、溶接工が溶接作業を実行するのを支援するための追加のメッセージと共に提供されてもよい。例えば、図５Ａを再び参照すると、「開始」メッセージ５１０および「終了」メッセージ５１５が溶接ライン５００と共に提供され、溶接工にどこで溶接を開始し、終了するべきか示してもよい。いくつかの実施形態において、視覚的合図は、溶接工が溶接作業を実行する間に変化してもよい。例えば、溶接を開始する場所の視覚的合図は、当初は溶接工に対し、溶接方向を示す矢印と共に提供されてもよく、矢印は溶接工が溶接を実行するのに合わせて移動してもよい。溶接作業順序立てプロセッサ１０５は、溶接装置システム１３０から、溶接工がいつ溶接を開始したか、および／または溶接工が溶接作業中にいつ調整を行うかを示す情報を受け取ってもよい。いくつかの実施例において、その他の情報、例えば実行するべき現在の溶接作業に関する情報メッセージ等が視覚的合図とともに表示されてもよい。例えば、溶接作業メッセージ５０５は、溶接工が「線状溶接」を実行するべきであることを示す。
【００３８】
溶接作業順序立てプロセッサ１０５は、アセンブリの向きおよび溶接工の視野情報に基づいて、現在の溶接作業が溶接工から見えないと判断すると、視覚的合図がディスプレイ１２０に提供されて、アセンブリの位置変更または視野の位置変更の何れかを行うように溶接工に示してもよい（ステップ３２０Ｂ）。図６Ａを参照すると、溶接工の視野が、溶接作業が溶接工の視野内にないことを示す視覚的合図と共に示されている。溶接作業順序立てプロセッサ１０５は、溶接作業の座標が現在溶接工から見えないことを特定してもよく、溶接工が次の溶接作業場所を位置特定するのを支援するための視覚的合図を決定してもよい。例えば、溶接作業は場所６１０（アセンブリ４１０の見えていない角）へのスポット溶接であってもよい。溶接作業順序立てプロセッサ１０５は、場所６１０の現在位置に基づいて、場所６１０が溶接工の視野内に入るまで溶接工がアセンブリ４１０を回転させる必要があるであろうと判断してもよい。溶接作業順序立てプロセッサ１０５は、溶接工に対する視覚的合図としてディスプレイ１２０上のある場所に提供するべき、溶接工が溶接作業場所６１０を位置特定するのを支援する矢印の向きを判断してもよい。溶接作業順序立てプロセッサ１０５はすると、ステップ３１０で、溶接作業が溶接工から見えるまでアセンブリの向きおよび視野のモニタを続ける。
【００３９】
いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、溶接工に提供された視覚的合図に基づいて、溶接作業中に溶接装置システム１３０を介した溶接工への電源供給を調整および／または中断してもよい。例えば、図６Ａを再び参照すると、現在の溶接作業の場所は溶接工から見えないため、溶接工には、アセンブリ４１０の向きをどのように変更するかを示す矢印６００の視覚的合図が提供されている。これに加えて、溶接工には、溶接トーチへの電源供給が中断されたことを示すメッセージ６０５が提供されている。溶接作業順序立てプロセッサ１０５は、溶接場所が見えていない間、および／または次の溶接作業が溶接を含んでいないときには溶接トーチへの電源供給を中断し、その後、溶接トーチの使用が必要な場所が見えたら（および現在の溶接作業が溶接である場合、）溶接工が電源供給を再開できるようにしてもよい。
【００４０】
図５Ｂを参照すると、別の例示的な溶接工の視野が提供されている。メッセージ５２５は、作業が検査であることを示しており、それゆえ、この作業は溶接トーチの使用を必要としない。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、検査が行われている間は溶接トーチへの電源供給を中断し、その後、検査が完了したら自動的に電源供給を再開してもよい。あるいは、溶接作業順序立てプロセッサ１０５が電源供給を中断してもよく、溶接工が、例えば溶接装置システム１３０および／または溶接作業順序立てプロセッサ１０５とのインタフェースを介して、検査が完了したことを示してもよい。図５Ｂの視野は、作業に関連する領域の周辺にある検査領域ボックス５２０を含む。
【００４１】
図６Ｂを参照すると、別の例示的な溶接工の視野が示されている。図の視野では、アセンブリ４１０上の溶接作業場所６２５は溶接工の視野の外にある（ディスプレイ１２０の外にあるアセンブリ４１０の境界を示す破線により示されている）。溶接作業順序立てプロセッサ１０５は、本明細書中で説明するように、アセンブリの向きおよび溶接工の視野情報に基づいて、溶接作業場所６２５が現在の溶接工の視野の左側にあると判断してもよい。溶接作業順序立てプロセッサ１０５は、ステップ３２０Ｂで、左向きの矢印が視覚的合図として提供されてよいと決定できる。矢印は静止していてもよく、または矢印は溶接工がアセンブリ４１０の向きまたは溶接工の視野を変化させるのに合わせて再調整するために移動してもよい。いくつかの実施形態において、追加のメッセージ（テキストメッセージ、音声による合図その他）が視覚的合図と共に提供されて、溶接工が溶接作業を行うのをさらに支援してもよい。例えば、図の例において、溶接工には、溶接工に関連する情報（すなわち、溶接工には現在溶接場所が見えず、溶接トーチまでの電源供給が中断されているとシステムが特定したこと）を知らせるメッセージ６１５が提供される。
【００４２】
図３を再び参照すると、ステップ３２５で、溶接作業順序立てプロセッサ１０５は溶接作業が完了したことを特定してもよい。溶接作業順序立てプロセッサ１０５は、例えば、撮像装置１１５からの画像データを利用して、溶接トーチが溶接を開始し、終了するのをモニタし、溶接が完了したのを判断してもよい。また、例えば、溶接作業順序立てプロセッサ１０５は、溶接装置システム１３０から、溶接がもう行われていないことを示す情報を受け取ってもよい。溶接作業順序立てプロセッサ１０５は、溶接作業が完了したことを確認すると、ステップ３３０で、その溶接シーケンス内の次の溶接を特定した後、次の溶接作業のための視覚的合図を提供してもよい。
【００４３】
図１を再び参照すると、いくつかの実施形態は、溶接が完了したことを判断するために利用できる赤外線装置１２５を含んでいてもよい。赤外線装置は、例えば、赤外線カメラおよび／または、赤外線画像情報を捕捉して画像データを溶接作業順序立てプロセッサ１０５に供給できその他のセンサであってもよい。赤外線画像データは、溶接を開始および終了する正確な場所をその溶接のヒートサインに基づいて判断するために利用されてもよい。溶接作業順序立てプロセッサ１０５は、温度情報を利用して、例えば溶接が正しい場所で行われたか否か、溶接が正しい手法で行われたか否かを判断し、および／または溶接が完了したことをそれ以外に確認してもよい。
【００４４】
いくつかの実施形態において、赤外線装置１２５からの赤外線画像データは、溶接工程中に電源供給を変化させるために利用されてもよい。例えば、溶接温度および溶接場所の判断に基づいて、溶接作業順序立てプロセッサ１０５は、溶接トーチへの電流を変化させて、実行中の溶接を調整してもよい。また、例えば、溶接作業順序立てプロセッサ１０５は、溶接が実行されている場所を特定し、溶接工が作業を適正に実行していない場合（例えば、誤った場所での溶接、適正な溶接場所からの閾値距離を超えたずれ、不正確な設定での溶接）に溶接トーチへの電源供給を中断してもよい。いくつかの実施形態において、溶接作業順序立てプロセッサ１０５は、赤外線または可視光画像データの何れかを通じて溶接作業が正しく完了したことを確認するまで、それ以上の溶接できないようにしてもよい。
【００４５】
図７は、例示的なコンピュータシステム７１０のブロック図である。コンピュータシステム７１０は通常、少なくとも１つのプロセッサ７１４を含み、これはバスサブシステム７１２を介して多数の周辺機器と通信する。これらの周辺機器には、例えばメモリサブシステム７２６およびファイルストレージサブシステム７２８を含むストレージサブシステム７２４、ユーザインタフェース入力装置７２２、ユーザインタフェース出力装置７２０、ネットワークインタフェースサブシステム７１６が含まれていてもよい。入力および出力装置により、ユーザとコンピュータシステム７１０とのやりとりが可能となる。ネットワークインタフェースサブシステム７１６は、外部ネットワークにインタフェースを提供し、他のコンピュータシステム内の、それに対応するインタフェースデバイスに接続される。
【００４６】
ユーザインタフェース入力装置７２２としては、キーボード、マウス、トラックボール、タッチパッドまたはグラフィクスタブレット等のポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム、マイクロフォン等の音声入力装置、および／またはその他の種類の入力装置が含まれていてもよい。一般に、「入力装置」という用語の使用は、コンピュータシステム７１０に、または通信ネットワーク上に情報を入力するためのあらゆる考えうる種類の装置および方法を含むことが意図される。
【００４７】
ユーザインタフェース出力装置７２０としては、ディスプレイサブシステム、プリンタ、ファックスマシン、または音声出力装置等の非視覚的ディスプレイが含まれていてもよい。ディスプレイサブシステムとしては、陰極線管（ＣＲＴ）、液晶表示体（ＬＣＤ）等のフラットパネルデバイス、プロジェクションデバイス、または視覚的画像を作るためのその他のいくつかの機構が含まれていてもよい。ディスプレイサブシステムはまた、例えば音声出力装置を介する非視覚的ディスプレイを提供してもよい。一般に、「出力装置」という用語の使用は、コンピュータシステム７１０からの情報を使用者またはその他の機械またはコンピュータシステムに出力するためのあらゆる考えうる種類の装置および方法を含むことが意図される。
【００４８】
ストレージサブシステム７２４は、本明細書に記載されているモジュールのいくつかまたは全部の機能を提供するプログラミングおよびデータ構造を記憶する。例えば、ストレージサブシステム７２４は、あるコンピューティングデバイスからの動作可能なコンテンツを特定し、および／または、それを１つまたは複数の他のコンピューティングデバイスへと、使用者が、他のコンピューティングデバイスからその動作可能なコンテンツにアクセスすることに関心を抱く可能性に基づいて転送するロジックを含んでいてもよい。
【００４９】
これらのソフトウェアモジュールは一般に、プロセッサ７１４だけで、または他のプロセッサと組み合わせて実行される。ストレージサブシステムの中で使用されるメモリ７２６は、プログラム実行中の命令およびデータを保存するための主要なランダムアクセスメモリ（ＲＡＭ）７３０と、固定命令が保存されるリードオンリメモリ（ＲＯＭ）７３２をはじめとする多数のメモリを含むことができる。ファイルストレージサブシステム７２８は、プログラムおよびデータファイルのための固定記憶を提供でき、ハードディスクドライブ、関連する取外可能媒体を伴うフロッピディスクドライブ、ＣＤ−ＲＯＭドライブ、光ドライブ、または取外可能媒体カートリッジを含んでいてもよい。特定の実施形態の機能を実行するモジュールは、ストレージサブシステム７２４の中のファイルストレージサブシステム７２８によって、またはプロセッサ７１４がアクセス可能なその他のマシン内に記憶されてもよい。
【００５０】
バスサブシステム７１２は、コンピュータシステム７１０の各種の構成要素およびサブシステムに所期の通りに相互に通信させるための機構を提供する。バスサブシステム７１２は単独のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態では複数のバスが使用されてもよい。
【００５１】
コンピュータシステム７１０は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、またはその他のデータ処理システムもしくはコンピューティングデバイスを含む様々なタイプとすることができる。コンピューティングデバイスおよびネットワークが常に変化する性質を有することから、図７に示されるコンピュータシステム７１０の説明は、いくつかの実施形態を例示することを目的とした具体的な例にすぎない。そのほかにもコンピュータシステム７１０の数多くの構成が可能であり、図７に示されるコンピュータシステムより構成要素が多くても少なくてもよい。
【００５２】
具体的な実施形態に関する上の説明は、例として提供されている。前述の開示から、当業者であれば、全体的な発明的概念およびそれに伴う利点を理解するだけでなく、開示されている構造および方法への明らかな各種の変更および改良も見出すであろう。例えば、構成要素を追加した、または代用した代替的な方法および／またはシステムを利用して、溶接工に関するアセンブリの向きを判断してもよい。したがって、付属の特許請求の範囲により定義される本発明の概念の主題および範囲およびその均等物の中に含まれるかかる変更や改良のすべてをカバーするものとする。
【符号の説明】
【００５３】
１００  システム
１０１  通信ネットワーク
１０５  溶接作業順序立てプロセッサ
１１０  シーケンスデータベース
１１５  撮像装置
１２０  ディスプレイ
１２５  赤外線装置
１３０  溶接装置システム
４１０  アセンブリ
４３０  溶接工
４３５  溶接工の撮像装置
５００  溶接ライン
６００  矢印
６１０  溶接作業場所
７１０  コンピュータシステム
７１４  プロセッサ
７２４  ストレージサブシステム
【図１】
2017039168.tif 000003
【図２】
2017039168.tif 000004
【図３】
2017039168.tif 000005
【図４】
2017039168.tif 000006
【図５Ａ】
2017039168.tif 000007
【図５Ｂ】
2017039168.tif 000008
【図６Ａ】
2017039168.tif 000009
【図６Ｂ】
2017039168.tif 000010
【図７】
2017039168.tif 000011
【外国語明細書】
2017039168000001.pdf