(57)【要約】  ロボットの位置構成に基づいて、拡張現実（ＡＲ）装置の位置と向きを較正するための方法及びシステム。ＡＲ装置の較正には、従来の視覚的較正標的は必要ない。代わりに、ロボット自体は、どの姿勢でも、３次元（３Ｄ）較正標的として使用される。ＡＲシステムは、基準座標系として使用するロボット全体のＣＡＤモデルを備え、個々のロボットアームの３Ｄモデルが、ロボット制御装置から認識された関節位置に基づいて単一の物体モデルに組み合わされる。次に、現在の姿勢のロボット全体の３Ｄ表面モデルは、現在の姿勢のロボットの表面モデルと比較して、ＡＲ装置カメラからの画像を分析することにより、ＡＲシステムの視覚的な較正のために、使用される。この技術は、最初のＡＲ装置の較正及び進行中の装置の追跡に適用することができる。
2022500263.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）装置をロボット基部基準座標系に対して較正するための方法であって、前記方法は、
ロボットの各構造部品の３次元（３Ｄ）モデルを前記ＡＲ装置に提供し、
現在の姿勢の前記ロボットの全関節の位置データを、ロボット制御装置から前記ＡＲ装置へ提供し、
前記部品の３Ｄモデルと前記位置データとを使用して、前記ＡＲ装置によって、前記現在の姿勢の前記ロボットの３Ｄモデルを計算し、
前記ＡＲ装置の１つ又は複数のカメラ又はセンサによって、前記現在の姿勢の前記ロボットの画像又はセンサデータを取得し、
前記ロボットの前記画像又はセンサデータを前記ロボットの前記３Ｄモデルと比較して、前記ロボット基部基準座標系に対する前記ＡＲ装置の位置及び向きを決定すること、を含む方法。
【請求項２】
前記ロボットの前記構造部品のそれぞれの前記３Ｄモデルは、コンピュータ支援設計（ＣＡＤ）の立体モデル又は表面モデルである、請求項１に記載の方法。
【請求項３】
前記ＡＲ装置は、操作者が着用するヘッドセット装置であるか、あるいは前記ＡＲ装置は、前記操作者が保持するスマートフォン、タブレット型計算装置又はロボット教示ペンダントである、請求項１に記載の方法。
【請求項４】
前記ロボットは、直列に接続された複数のアームを有する多関節ロボットであり、前記位置データは、前記ロボット内の関節エンコーダによって測定された関節角度位置データである、請求項１に記載の方法。
【請求項５】
前記ロボットは、直列に接続された複数のアームを有する多関節ロボットであり、前記位置データは、前記ロボット上のセンサによって測定された関節デカルト座標である、請求項１に記載の方法。
【請求項６】
前記ロボットは、移動するピックアンドプレースヘッドを固定ハブに接続する複数の並列リンクを有するデルタ型ロボットである、請求項１に記載の方法。
【請求項７】
前記画像又はセンサデータは、前記ＡＲ装置内の１つ又は複数のカメラによって取得された前記ロボットのデジタル画像である、請求項１に記載の方法。
【請求項８】
前記画像又はセンサデータは、レーザセンサ、音声スペクトルセンサ、飛行時間型センサ、レーダセンサ又はＬｉＤａｒセンサからのデータである、請求項１に記載の方法。
【請求項９】
前記ＡＲ装置内の加速度計及びヨーレートセンサからの信号に基づいて慣性オドメトリ計算を実施することを含む、前記ロボット基部基準座標系に対する前記ＡＲ装置の前記位置及び向きを連続的に再計算することをさらに含む、請求項１に記載の方法。
【請求項１０】
新たな姿勢の前記ロボットの画像又はセンサデータを前記新たな姿勢の前記ロボットの３Ｄモデルと比較して、前記ロボット基部基準座標系に対して前記ＡＲ装置の位置及び向きを決定することによって、慣性オドメトリ計算の誤差を修正することをさらに含む、請求項９に記載の方法。
【請求項１１】
前記ＡＲ装置のディスプレイ上に仮想要素を適切に描写するために、前記ＡＲ装置上で実行されるＡＲアプリケーションプログラムによって、前記ロボット基部基準座標系に対する前記ＡＲ装置の前記位置及び向きを使用することをさらに含む、請求項１に記載の方法。
【請求項１２】
前記位置データを提供すること、前記ロボットの前記３Ｄモデルを計算すること、前記画像又はセンサデータを取得すること、及び前記画像又はセンサデータを前記３Ｄモデルと比較することが、前記ロボットが静止位置に停止している間に実施される、請求項１に記載の方法。
【請求項１３】
前記位置データを提供すること、前記ロボットの前記３Ｄモデルを計算すること、前記画像又はセンサデータを取得すること、及び前記画像又はセンサデータを前記３Ｄモデルと比較することが、前記ロボットが動作プログラムを実行している間に実施される、請求項１に記載の方法。
【請求項１４】
拡張現実（ＡＲ）装置をロボット基部基準座標系に対して較正するためのシステムであって、前記システムは、
複数の構造部品を有する産業用ロボットと、
前記ロボットと通信するロボット制御装置であって、前記制御装置は、プロセッサ及びメモリを備え、ロボット操作制御ソフトウェアで構成される、ロボット制御装置と、
前記ロボット制御装置と通信する拡張現実（ＡＲ）装置であって、前記ＡＲ装置は、ＡＲアプリケーションを実行するように構成された１つ又は複数のカメラ又は物体センサと、位置追跡センサと、ディスプレイと、プロセッサ及びメモリを有する、ＡＲ装置と、を具備する、システムにおいて、
前記ロボット制御装置は、現在の姿勢の前記ロボットの全関節に対する位置データを前記ＡＲ装置に提供し、
前記ＡＲ装置は、前記構造部品の３Ｄモデル及び前記位置データを使用して、前記現在の姿勢の前記ロボットの３Ｄモデルを計算し、前記１つ又は複数のカメラ又はセンサを使用して前記現在の姿勢の前記ロボットの画像又はセンサデータを取得し、前記ロボットの前記画像又はセンサデータを前記ロボットの前記３Ｄモデルと比較して、前記ロボット基部基準座標系に対する前記ＡＲ装置の位置と向きを決定する、システム。
【請求項１５】
前記ＡＲ装置は、操作者が着用するヘッドセット装置であるか、あるいは前記ＡＲ装置は、前記操作者が保持するスマートフォン、タブレット型計算装置又はロボット教示ペンダントである、請求項１４に記載のシステム。
【請求項１６】
前記ロボットは、直列に接続された複数のアームを有する多関節ロボットであるか、あるいは前記ロボットは、移動するピックアンドプレースヘッドを固定ハブに接続する複数の並列リンクを有するデルタ型ロボットである、請求項１４に記載のシステム。
【請求項１７】
前記画像又はセンサデータは、前記ＡＲ装置内の１つ又は複数のカメラによって取得された前記ロボットのデジタル画像であるか、あるいは前記画像又はセンサデータは、レーザセンサ、音声スペクトルセンサ、飛行時間型センサ、レーダセンサ又はＬｉＤａｒセンサからの物体データである、請求項１４に記載のシステム。
【請求項１８】
前記ロボットの前記構造部品の前記３Ｄモデルは、コンピュータ支援設計（ＣＡＤ）の立体モデル又は表面モデルである、請求項１４に記載のシステム。
【請求項１９】
前記ＡＲ装置は、前記位置追跡センサからの信号に基づいて慣性オドメトリ計算を実施すること、及び新たな姿勢の前記ロボットの画像又はセンサデータを前記新たな姿勢の前記ロボットの３Ｄモデルと比較することによって前記慣性オドメトリ計算の誤差を修正することを含む、前記ロボット基部基準座標系に対する前記ＡＲ装置の前記位置及び向きの連続的な再計算を行う、請求項１４に記載のシステム。
【請求項２０】
前記ロボット基部基準座標系に対する前記ＡＲ装置の前記位置及び向きは、前記ＡＲ装置のディスプレイ上に仮想要素を適切に描写するために、前記ＡＲ装置上で実行されるＡＲアプリケーションプログラムにて使用される、請求項１４に記載のシステム。
【請求項２１】
前記位置データを提供すること、前記ロボットの前記３Ｄモデルを計算すること、前記画像又はセンサデータを取得すること及び前記画像又はセンサデータを前記３Ｄモデルと比較することが、前記ロボットが静止位置に停止している間に実施されるか、前記ロボットが動作プログラムを実行している間に実施される、請求項１４に記載のシステム。
【請求項２２】
拡張現実（ＡＲ）装置を機械基部基準座標系に対して較正するための方法であって、前記方法は、
多関節機械の各構造部品の３次元（３Ｄ）モデルを前記ＡＲ装置に提供し、
現在の姿勢の前記機械の全部品の位置データを機械制御装置から前記ＡＲ装置へ提供し、
前記部品の前記３Ｄモデル及び前記位置データを使用して、前記ＡＲ装置によって、前記現在の姿勢の前記機械の３Ｄモデルを計算し、
前記ＡＲ装置の１つ又は複数のカメラ又はセンサによって、前記現在の姿勢の前記機械の画像又はセンサデータを取得し、
前記機械の前記画像又はセンサデータを前記機械の前記３Ｄモデルと比較して、前記機械基部基準座標系に対する前記ＡＲ装置の位置及び向きを決定することと、を含む方法。
【請求項２３】
前記機械基部基準座標系に対する前記ＡＲ装置の前記位置及び向きは、前記機械のデジタルツインの動きを適切に表示するために、シミュレーションシステム上で実行されるプログラムにて使用され、前記デジタルツインは、前記ＡＲ装置によって較正された前記機械の仮想複製である、請求項２２に記載の方法。
【請求項２４】
前記ＡＲ装置によって、前記機械基部基準座標系内に他の機械及び他の物体の場所及び向きをマッピングする動作であって、前記他の機械及び他の物体の画像を前記他の機械及び他の物体の既知の立体／表面モデルと比較することを含む動作をさらに含む、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
【０００２】
この出願は、２０１８年９月１０日に出願され、「ＡＲ及びデジタルツインのためのロボット較正」と題する米国仮特許出願第６２／７２９，１７４号の優先日の利益を主張する。
【背景技術】
【０００３】
本開示は、産業用ロボットの分野、さらに具体的には、従来の視覚的較正標的が必要とされないロボットの位置構成に基づく、拡張現実（ＡＲ）装置の位置及び向きの較正方法に関する。ＡＲシステムには、現在の姿勢でのロボット全体の静的ＣＡＤモデルが基準座標系として提供され、ＡＲシステムの視覚的な較正のために、個々のロボットアームの３Ｄモデルが単一の物体モデルに統合される。
【０００４】
産業用ロボットと組み合わせた拡張現実（ＡＲ）システムの使用は、当技術分野で知られている。ＡＲシステムを、例えば、特定の操作を実行する方法をロボットに教示する際に使用することができ、熟練した操作者がＡＲシステムを使用して操作を実演し、ロボットが関連する動作を学習する。ＡＲシステムはこのほか、ロボットが侵入してはならない仮想安全ゾーンの確立又はコンベアから部品を取り出すためのマルチロボットシステムの各ロボットのための境界の確立など、他の教示活動に使用することができる。物理的ロボットのＡＲ表現は、「デジタルツイン」と呼ばれることもある。
【０００５】
デジタルツインが物理的ツインとまったく同じように出現して移動し、仮想アイテムが物理的アイテムの画像に対してそれぞれの適切な場所と向きで表示されるようにするために、ロボット作業セルにて、ＡＲ装置を、それぞれの位置と向きが既知の状態になるように較正する必要がある。残念ながら、必要なレベルの精度を達成するためのＡＲ装置の較正は、従来、困難で時間がかかるものであった。既知の技術の１つには、視標の画像を分析して、ＡＲ装置の位置及び向きを決定することが含まれる。しかし、ロボット作業セル内の正確な固定場所に平面視標又は「基準」（比較の固定基準）を設置することには、多大な労力と高コストが伴う。基準座標系とロボット座標系との間の変換は、６つの自由度にて必要である。較正平面のあらゆるわずかな傾きが、距離が長くなるほど大きな誤差につながることがあり得る。あらゆる間接的な較正が、較正を不正確なものにすることになる。不正確な較正が、ＡＲシステム機能の不正確さと制限につながる。
【０００６】
さらに、情報が局所化され、一部のロボット軸が遮られる可能性があるため、単一の所定の姿勢のロボットの３Ｄモデルに対する較正があまり正確ではない場合がある。このほか、ロボット軸には高周波情報が少ないため、単一のロボット軸からの情報が較正の不正確さをもたらす可能性がある。このほか、「デルタ」型のロボット（複数の並列リンクを備えたピックアンドプレースロボット）では、単軸方式を使用して較正することが不可能なことがあり得る。
【０００７】
このため、上記で考察した不利な点に悩まされないＡＲシステムのためのロボット較正の方法を提供することが望まれる。
【発明の概要】
【０００８】
本開示の教示に従い、ロボットの位置構成に基づいて拡張現実（ＡＲ）装置の位置及び向きを較正するための方法が提供される。ＡＲ装置の較正には、従来の視覚的較正標的は必要ない。代わりに、ロボット自体は、どの姿勢でも、３次元（３Ｄ）較正標的として使用される。ＡＲシステムは、基準座標系として使用するロボット全体のＣＡＤモデルを備え、個々のロボットアームの３Ｄモデルが、ロボット制御装置から認識された関節位置に基づいて単一の物体モデルに統合される。次に、現在の姿勢のロボット全体の３Ｄ表面モデルは、現在の姿勢のロボットの表面モデルと比較して、ＡＲ装置カメラからの画像を分析することにより、ＡＲシステムの視覚的な較正のために、使用される。この技術は、最初のＡＲ装置の較正及び進行中の装置の追跡に適用することができる。
【０００９】
現在開示している技術の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】ロボット作業セル内のＡＲ装置の場所を登録して追跡するための従来の技術であって、当技術分野で知られているように、視標をロボット作業セル内の正確に測定された場所に設置する必要がある技術を示す図である。
【図２】本開示の一実施形態による、ロボットの３Ｄモデル及び既知のロボット運動学がロボット自体を視標基準として使用することを可能にするロボット座標系に対するＡＲ装置の較正のための技術の図である。
【図３】本開示の一実施形態による、ロボット自体を視標基準として使用して、ロボット作業セル内のＡＲ装置の場所を登録して追跡するための方法のフローチャート図である。
【発明を実施するための形態】
【００１１】
任意の姿勢のロボットの３Ｄ表面モデルに基づく拡張現実（ＡＲ）装置の位置及び向きの較正に向けられた本開示の実施形態に関する以下の考察は、本質的に単なる例示であり、開示の装置及び技術、あるいはその用途又は使用を制限することを意図するものでは決してない。
【００１２】
産業用ロボットと組み合わせた拡張現実（ＡＲ）システムの使用が知られている。例えば、人間の操作者が操作境界ゾーンを形成するのを支援するＡＲシステムが、２０１９年６月２６日出願の「拡張現実を使用する操作境界ゾーンの視覚化及び修正」と題する米国特許出願第１６４５３８１１号に記載されている。この出願は、その全体を参照することにより本明細書に組み込まれる。さらに、操作者がロボットのピックアンドプレースパラメータを規定するのを支援するＡＲシステムが、２０１９年６月２６日出願の「ロボット採取システムのための拡張現実の視覚化」と題する米国特許出願第１６４５３８３８号に記載されている。この出願は、その全体を参照することにより本明細書に組み込まれる。
【００１３】
上記のＡＲシステムは、ＡＲ装置（典型的には、ヘッドセット装置又はタブレット型コンピュータ装置のいずれか）を使用して、コンピュータで生成された仮想要素（ゾーン境界、仮想部品など）を、実世界のロボットをはじめとする作業セル内の物体の画像に重ね合わせる。他のアプリケーションが、実際のロボットの仮想複製であり、実際のロボットから独立して移動し得る「デジタルツイン」ロボットを形成する。実際のロボットをはじめとする物理的物体に関連する仮想要素を適切に描写するために、ＡＲ装置及びＡＲアプリケーションソフトウェアは、作業セル内のＡＲ装置の場所と方向を常に認識している必要がある。
【００１４】
図１は、当技術分野で知られているように、ロボット作業セル内のＡＲ装置の場所を登録して追跡するための技術を示す図である。ロボット１１０が、作業セル内に取り付けられ、ロボット基部基準フレーム（座標系）１１２を規定している。図示のロボット１１０は、当技術分野で知られているタイプの多軸産業用ロボットである。例えば、ロボット１１０は、材料の切断、溶接、部品の選択／移動／配置などのさまざまな操作を実施するようにプログラムすることができる６軸ロボットであってもよい。ロボット１１０は、各ロボットアームに１つなど、他の多くの基準座標系を有してもよく、このような他の基準座標系のそれぞれの位置及び向きは、当業者には既知であろうように、基部基準座標系１１２に関して直接的に規定しても、間接的に規定してもよい。しかし、ロボット１１０に対してＡＲ装置の場所を確立するために、基部基準座標系１１２のみが重要である。
【００１５】
視覚的マーカ１２０を、作業セル内のどこかの固定場所に設置する。マーカ基準座標系１２２には、マーカ１２０に関して規定された原点及び向きがある。例えば、マーカ基準座標系１２２では、その原点がマーカ１２０の１つの角部にあり、そのＸ軸及びＹ軸がマーカ１２０の２つの縁部に沿って延びてもよい。（ステップ（１）として示す）ロボット基部基準座標系１１２に対するマーカ基準座標系１２２の場所及び向きは、当技術分野で知られている測定及び較正過程を通じて決定される。マーカ基準座標系１２２からロボット基部基準座標系１１２への変換は、３つの並進及び３つの回転を含み、ＡＲシステムでの仮想アイテムの表示が不正確になるのを回避するために、正確に認識される必要がある。これは、マーカ１２０の位置及び向きの正確な測定を実施することを含んでもよい。
【００１６】
ＡＲ装置１３０には、それに規定されたＡＲ装置基準座標系１３２がある。ＡＲ装置１３０は、ユーザ１３４が着用可能なヘッドセット装置であってもよい。ヘッドセットは、プロセッサと、慣性センサと、カメラと、コンピュータ生成の３Ｄ画像を実世界の物体のユーザの視界の上に重ね合わせるゴーグルを備える。ＡＲ装置１３０はこのほか、携帯電話、タブレット装置又はロボット教示ペンダントなどの携帯装置であってもよい。この場合、装置１３０は、必要な通信システムのほかに、プロセッサ、慣性センサ、カメラ及び表示画面をさらに備える。ＡＲ装置１３０は、そのプロセッサ上でＡＲアプリケーションを実行する。
【００１７】
ＡＲ装置１３０のロボット基部基準座標系１１２への登録を、マーカ１２０の複数の画像がＡＲ装置１３０によって取得されるようにＡＲ装置１３０内のカメラを（ステップ（２）として示す）視覚的マーカ１２０に向けることによって実施する。実際には、これは、マーカ１２０がＡＲ装置１３０のディスプレイに現れるように、ＡＲ装置１３０のカメラをマーカ１２０に向けることによって達成される。（人が保持するか着用することによる）ＡＲ装置１３０の自然な動きが、わずかに異なる視点からのマーカ１２０の後続の（ロボット制御装置及びＡＲアプリケーションに知られているパターン及び場所を有する）画像を提供する。これにより、ＡＲアプリケーションが、マーカ基準座標系１２２に対するＡＲ装置基準座標系１３２の位置及び向きを決定することを可能にする。ロボット基部基準座標系１１２に対するマーカ基準座標系１２２の位置及び向きはステップ（１）から既知であるため、ＡＲアプリケーションは、ロボット基部基準座標系１１２に対するＡＲ装置基準座標系１３２の位置及び向きを計算することができる（ステップ（３）として表示）。
【００１８】
ＡＲ装置１３０の位置及び向きがロボット基部基準座標系１１２に対して較正された後、慣性及び視覚的オドメトリをＡＲアプリケーションが使用して、ロボット基部基準座標系１１２に対するＡＲ装置１３０の位置及び向きを連続的に追跡する。（ステップ（４）として示す）この技術では、ＡＲ装置１３０のプロセッサは、装置１３０に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート信号の統合に基づいて装置１３０の更新された位置及び向きを継続的に計算する。位置及び向きは、装置１３０上のカメラからの画像、例えば、既知の場所に存在するマーカ１２０又は他の認識可能なアイテムの画像に基づいて検査され修正される。
【００１９】
当業者によって理解されるであろうように、ロボット基部基準座標系１１２は、実際にロボット基部上にある必要はなく、むしろ、任意の作業セル座標系であってもよい。これは、ロボットが動作する作業セル内の単なる固定座標系である。単純な変換を使用して、任意の固定作業セル座標系にて、ロボットアーム位置、マーカ１２０の場所及びＡＲ装置１３０の動的な場所を計算してもよい。
【００２０】
図１に示し、上記で考察した技術により、ＡＲ装置上で実行されるＡＲアプリケーションソフトウェアが、ロボットとその作業セルに対するＡＲ装置の位置及び向きを継続的に決定することが可能になる。これは、ＡＲ装置が、ＡＲディスプレイで実世界の物体に重ねられた仮想要素を正確に表示するために必要な能力である。しかし、図１の技術は、ロボット基部基準座標系１１２に対するマーカ１２０の位置及び向きの正確な測定に依存する。このような測定は、面倒で時間がかかり、誤差が発生しやすい可能性がある。角度方向のわずかな誤差でも、ロボットと作業セルに対するＡＲ装置の較正の際に大きな誤差が発生する可能性がある。
【００２１】
マーカ１２０を正確に設置し、ロボット基部基準座標系１１２への正確な座標変換を決定することは困難で時間がかかるだけでなく、この従来の手法には他の問題もある。特に、作業セル内のさまざまな位置から明瞭に見える標的を提供することは困難な場合がある。
【００２２】
他の較正技術にもほぼ同じ制限がある。例えば、ロボットを特定の事前規定された姿勢に置き、その特定の姿勢でのロボットの立体モデルを提供し、立体モデルと比較したロボットのカメラ画像を分析して１つの特定の部品又は軸（基部など）を見つけることにより、ロボットを３Ｄ標的として使用することが提案されてきた。しかし、この技術は、多くの視点から見たときにロボットの基部がロボットの他の部品によって遮られる可能性があるという事実に悩まされており、このため、基軸の識別及び位置特定が不可能になる。さらに、３Ｄモデルの単一軸への較正が、あまり正確ではない場合がある。さらに、３Ｄモデルの単一軸を識別するだけの技術を使用した「デルタ」型のピックアンドプレースロボットへの較正は不可能であろう。
【００２３】
本開示の技術は、正確に設置された視覚的マーカの必要性を排除することによってＡＲからロボットへの較正を単純化すると同時に、較正の精度を改善するために開発された。
【００２４】
図２は、ロボットの３Ｄモデル及び既知のロボット運動学により、ロボット自体を視標基準として使用することを可能にするロボット座標系に対するＡＲ装置の較正のための本開示の一実施形態のシステム２００の図である。 ロボット２１０が、作業セル２２０内に位置づけられ、動作する。ロボット２１０は、回転関節にて直列に接続されたアームを備えた従来の多軸多関節産業用ロボットとして描かれているが、複数の並列リンクを備えた「デルタ」型のピックアンドプレースロボット、あるいは部品／材料の移動、溶接、塗装又は他の用途向けに構成された産業用ロボットを含むが、このようなロボットに限定されない他のタイプのロボットであってもよい。実際、図２の例示にはロボットが使用されているが、ＡＲ装置の較正に関する開示技術は、さまざまな姿勢を想定し、姿勢の形状を伝達することができる任意のタイプの多関節機械とともに使用されることがあり得る。
【００２５】
ロボット２１０は、典型的にはケーブル２１４を介して、制御装置２１２と通信する。当技術分野で知られているように、制御装置２１２は、プログラムに従ってロボット２１０を操作するための命令を備えたプロセッサ及びメモリを含む。制御装置２１２は、ロボット２１０上の関節エンコーダから位置情報を受信し、関節モータの動きを規定するコマンドをロボット２１０に送信する。１つのロボット２１０のみを示しているが、システム２００は、作業セル２２０内で動作する多数のロボット２１０を備えてもよい。複数のロボット２１０がシステム２００に含まれる場合、ロボット２１０のそれぞれは、それ自体の制御装置２１２を有してもよく、制御装置２１２同士は、互いに通信する。
【００２６】
ロボット２１０は、ロボット基部基準座標系２１６を有する。ここで、全ロボットアームのロボット基部基準座標系２１６に対する位置は、運動学計算を通じて、常に認識されている。即ち、ロボットの運動学、特に１つの関節の中心から次の関節の中心までの各アームの長さが正確に認識される。このほか、関節の角度位置が関節位置エンコーダから常に認識される。基部関節であって、その回転軸がロボット基部基準座標系２１６の軸と位置合わせされ得る基部関節から始めて、各アームの位置及び各アームの端部での関節中心の場所は、ロボット基部基準座標系２１６の座標にて計算することができる。このほか、当業者によって理解されるであろうように、各アームに固定された１つの座標系などの他の局所座標系が規定されてもよい。
【００２７】
操作者２３０が、ロボット２１０の動作中、作業セル２２０内に存在する。操作者２３０は、ＡＲ装置２３２を使用して、拡張現実（ＡＲ）アプリケーションプログラムを実行する。上記で考察したように、ＡＲ装置２３２は、操作者２３０が着用するヘッドセット装置、あるいは操作者２３０が保持する携帯装置（例えば、スマートフォン、タブレット又は教示ペンダント）であってもよい。ＡＲ装置２３２がヘッドセットである場合、ヘッドセットは、プロセッサと、慣性センサと、カメラと、ユーザの視界又は実世界の物体のカメラ画像の上にコンピュータ生成の３Ｄ画像を重ね合わせるゴーグルとを備える。ＡＲ装置２３２はこのほか、携帯装置であってもよい。その場合、装置２３２は、必要な通信システムのほかに、プロセッサ、慣性センサ、カメラ及び表示画面をさらに備える。ＡＲアプリケーションプログラムは、ロボット経路の仮想表示、プログラム、境界及び／又はロボット２１０の操作者の視界に重ねられた出力をはじめとする、作業セル２２０内に位置づけられた要素など、ロボット構成で使用される拡張現実の特徴及び機能を操作者２３０に提供する。
【００２８】
ＡＲ装置２３２は、ＡＲアプリケーションプログラム及びロボット制御プログラムが双方向のデータ交換を維持することができるように、制御装置２１２と無線通信している。少なくとも、制御装置２１２は、ＡＲアプリケーションが以下で考察する較正技術にてロボットの姿勢を決定するために使用する関節位置情報をＡＲ装置２３２にリアルタイムで提供する。図２の多軸ロボット２１０では、関節位置情報は、各関節の関節角度位置を含む。この関節角度位置は、当技術分野で知られているように、ロボット２１０の各関節の関節エンコーダから決定されてもよい。ＡＲアプリケーションプログラムはこのほか、ＡＲ装置２３２の場所及び向き及び／又は他のデータを制御装置２１２に提供してもよい。ＡＲ装置２３２と制御装置２１２との間の無線通信は、無線ローカルエリアネットワーク（ＷｉＦｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラー通信、あるいは任意の他の適切な無線技術を介するものであってもよい。作業セル２２０が複数のロボット２１０を含む場合、ＡＲ装置２３２は、好ましくは、（マスタとして指定された）制御装置２１２のうちの１つのみと無線で通信する。
【００２９】
ＡＲ装置２３２は、少なくとも１つのカメラ又は他のセンサ２３４を備える。カメラ又は他のセンサ２３４は、１つ又は複数のカメラ、超音波センサ、レーダセンサ、ＬｉＤＡＲ（光検出及び測距）センサ、赤外線センサ、あるいは以下で考察するように物体を感知してロボットの姿勢を決定するのに適した任意の他のタイプのセンサを備えてもよい。好ましい実施形態では、カメラ又は他のセンサ２３４は、ロボット２１０のデジタル画像を取得し、その画像を現在の姿勢のロボット２１０の立体／表面モデルと比較して、ＡＲ装置２３２の位置及び向きを決定する少なくとも１つのカメラである。
【００３０】
ＡＲ装置２３２は、自身に割り当てられたＡＲ装置基準座標系２３６を有する。ＡＲ装置基準座標系２３６は、ＡＲ装置２３２（ヘッドセット又は携帯装置のいずれか）に対して固定された位置及び向きを有し、ロボット基部基準座標系２１６に対するＡＲ装置基準座標系２３６の位置及び向きは、 ＡＲアプリケーションプログラムの仮想アイテムを適切に表示するために常に認識されている必要がある。本開示の技術の主題は、ロボット基部基準座標系２１６に対するＡＲ装置基準座標系２３６の位置及び向きの決定（３つの直交する方向への並進及び３つの軸周りの回転を含む座標変換）である。
【００３１】
コンピュータ２４０がＣＡＤデータをＡＲ装置２３２に提供する。ＣＡＤデータは、ロボット２１０の各アーム（それぞれ独立して可動する部品）の立体又は係合表面モデルを含む。コンピュータ２４０は、ＣＡＤデータをＡＲ装置２３２に提供することができる任意のタイプのコンピュータ、サーバ又は記憶装置であってもよい。コンピュータ２４０とＡＲ装置２３２との間の有線接続を使用してもよいが、無線接続（ＷｉＦｉなど）が好ましい。
【００３２】
本開示の較正技術では、ＡＲ装置２３２に関してロボットの基部位置の直接計算が実施される。言い換えれば、ＡＲ装置２３２は、図１に示す視覚的マーカ１２０を必要とせずに、ロボット基部基準座標系２１６に対するＡＲ装置基準座標系２３６（又はその逆）の位置及び向きを計算する。この較正技術では、ロボットの全軸／全アームを視認する必要はないため、ロボットの基部が一部の観察位置又はロボットの姿勢で遮られていても問題はない。ロボットワールド座標系は常に正確に正しい地点にあるため、開示の較正技術はきわめて正確である。
【００３３】
本開示による解決策は、仮想世界のあらゆるものに対する基準座標系として、現在の姿勢でのロボット２１０全体の３Ｄ立体又は表面モデルをＡＲアプリケーションプログラムに提供することである。較正は、ロボット２１０の表面モデルと比較してロボット２１０の画像を分析して、ロボット２１０までのＡＲ装置カメラの正確な視線及び視聴距離を決定することによって達成される。平面視標への較正は必要ない。
【００３４】
開示の較正技術では、３Ｄ標的を利用して、ＡＲ装置２３２の場所を較正し、３Ｄ標的はロボット２１０全体である。ツールのためのＣＡＤデータが利用可能な場合、３Ｄ標的には（ツール中心点基準座標系に）顧客ツールが含まれる可能性も否定できない。現在開示している技術で使用されている３Ｄ視標が、以前の技術で使用されている２Ｄ標的よりもはるかに高い較正精度を可能にする。
【００３５】
開示の較正技術は以下のように機能する。個々のロボットアームの３Ｄ立体又は表面モデルを、コンピュータ２４０からＡＲ装置２３２に提供する。このデータ転送は、ロボットの特定のモデルに対して１回実施する必要があるだけである。ロボット２１０の現在の姿勢の関節位置データを、制御装置２１２からＡＲ装置２３２に提供する。開示の技術は、特定の所定の姿勢（定位置など）だけでなく、ロボット２１０の任意の姿勢に対して機能することに留意することが重要である。関節位置データがロボット制御装置２１２によって認識され、ＡＲ装置２３２に通信される限り、ＡＲアプリケーションプログラムは、現在の姿勢のロボット２３２全体の立体／表面モデルを計算することができる。これは、関節位置データを使用して、各ロボットアームのＣＡＤモデルを適切な場所と方向に設置することによって実施される。ロボット基部から始まり、手首部分まで順次続き、その結果、各アーム構成要素のＣＡＤ立体／表面データが、現在の姿勢のロボット２１０全体のモデル内に構築される。
【００３６】
現在認識されている現在の姿勢のロボット２１０全体のモデルを用いて、ＡＲアプリケーションプログラムは、カメラ２３４によって取得されたロボット２１０の画像を分析して、画像が取得された正確な場所及び視野角を決定することができる。画像分析及びロボットの立体／表面モデルとの比較には、ロボット基部の認識可能な特徴、内側アームの特徴、外側アームの特徴など、特定のロボットの特徴を認識して、ＡＲ装置カメラのおおよその視野角を迅速に決定するための技術が含まれてもよい。ロボットの立体／表面モデルと比較して画像をさらに分析すると、画像が取得された正確な視野角と視聴距離が得られることになる。
【００３７】
ロボット２１０上のさまざまな点の位置は、さまざまなセンサを使用して、ロボットの動作中に決定される。センサは、上記で考察した１つ又は複数のカメラに加えて、あるいはその代わりに、レーザセンサなどの光に基づくセンサ、超音波などの音声スペクトルセンサ、飛行時間型センサ、レーダ、ＬｉＤａｒなどを含んでもよい。このほか、関節エンコーダが、ロボットの姿勢を決定するためにロボット２１０自体に含まれる。
【００３８】
要約すると、ロボットの３Ｄ標的は、ロボットが移動するにつれて変化する。ＡＲシステムは、現在の姿勢のロボットを標的として使用することができる。自身を３Ｄ標的として継続的に使用することにより、較正過程は自己修正される。（ＡＲシステムのロボットアームの立体モデル表示を係合するために使用される）ロボットモデルのあらゆる三角形が、常に既知の位置にある。このため、開示の較正技術は、ＡＲ装置の位置及び向きを最初に確立するために使用することができるほか、進行中のＡＲ装置の場所追跡に使用することができる。
【００３９】
ＡＲ装置２３２の位置及び向きが上記で考察したようにロボット基部基準座標系２１６に対して較正された後、慣性及び視覚的オドメトリがＡＲアプリケーションソフトウェアによって使用されて、ロボット基部基準座標系２１６に対するＡＲ装置２３２の位置及び向きを継続的に追跡する。この技術では、ＡＲ装置２３２のプロセッサは、ＡＲ装置２３２に搭載された加速度計及びジャイロから信号を受信し、加速度信号とヨーレート信号の統合に基づいて、ＡＲ装置２３２の更新された位置及び向きを継続的に計算する。位置及び向きは、ロボット自体の画像又は作業セル２２０内の既知の場所に存在する他の認識可能なアイテムなど、ＡＲ装置２３２上のカメラからの画像に基づいて検査され修正される。このため、操作者２３０が作業セル２２０を歩き回り、ＡＲ装置２３２が複数の異なる位置及び視点からロボット２１０の画像を取得すると、各画像が分析されて、ＡＲ装置２３２の位置及び方向を決定し、慣性オドメトリと複数画像分析の累積効果は、ＡＲ装置の位置と向きのきわめて正確な計算である。
【００４０】
ＡＲ装置２３２は、ロボットの設定、構成、操作、トラブルシューティング、あるいは他の何らかの機能のプログラムの有益な特徴のために操作者２３０によって使用されるＡＲアプリケーションプログラムを実行することを理解されたい。現在開示の技術に従って、カメラ画像と任意の姿勢でのロボット自体の立体／表面モデルとを使用して、ロボット２１０に対するＡＲ装置２３２の場所及び向きを較正するための技術は、そのようなＡＲアプリケーションプログラムに組み込み得る有益な特徴である。
【００４１】
これまでの考察では、現在の姿勢のロボット２１０のカメラ画像を、同じ現在の姿勢のロボット２１０の立体／表面モデルと比較することによって、ＡＲ装置の位置と向きを較正することについて説明している。ＡＲ装置２３２と制御装置２１２との間の充分に高速な通信と、ＡＲ装置２３２での充分に高速な計算とにより、ロボット２１０は、ほんの少しの間姿勢を維持する必要があるだけである。実際、充分な通信及び計算速度があれば、当業者は、非常に短い停止又は方向の反転のみによって中断される一定の動きでロボットがプログラムを継続的に実行する状態で、ＡＲ装置の較正を継続的に実施することができることを想像することができる。言い換えれば、ＡＲ装置の較正は、ロボット２１０が静止しているときだけでなく、動作している間に実施される可能性がある。
【００４２】
このほか、本開示の他の実施形態も想定される。そのような実施形態の１つは、ＡＲ装置の場所を、複数の硬質アームを有するロボットの３Ｄモデルに対して較正する代わりに、ＡＲ装置の場所を、少なくとも１つの完全に柔軟な要素を有する装置の３Ｄモデルに対して較正する場合である。例えば、可撓性塗料ホース又は可撓性油圧ホースを備えるロボットが、可撓性ホースの長さに沿った空間内の点を決定するエンコーダも備えることがあり得、点データを使用して、画像データと比較するための可撓性ホースの立体／表面モデルを作成することがあり得る。
【００４３】
別の実施形態では、作業セルは複数のロボットを包含し、各ロボットは特定の識別子を有する。各ロボットの関節位置データを、各ロボットの各部品の立体／表面モデルとともにＡＲ装置に提供することができるため、作業セル内の全ロボットの立体／表面モデルを構築することができる。ＡＲ装置の場所を決定するための結果として得られる画像分析には、計算の基礎となる膨大な量のデータが含まれることになり、ＡＲ装置の場所は非常に正確に計算されることになる。さらに、この技術を使用して、他のロボット及び物体の前部の場所を綿密に測定するのではなく、一次ロボットに対する作業セル内のロボット及び他の物体の場所をマッピングすることができる。
【００４４】
図３は、ロボット自体を視標基準として使用して、ロボット作業セル内のＡＲ装置の場所を登録して追跡するための本開示の一実施形態による方法のフローチャート図３００である。ボックス３０２では、操作者２３０は、ＡＲ装置２３２上でＡＲソフトウェアアプリケーション（アプリ）を開始し、ＡＲ装置２３２は、これまでに考察したように、無線通信チャネルを介してロボット制御装置２１２との通信を確立する。
【００４５】
ボックス３０４では、全ロボット構成要素の３ＤモデルがＡＲ装置２３２に提供される。好ましい実施形態では、３Ｄモデルは、図２のコンピュータ２４０などのＣＡＤシステムからの立体モデル又は表面モデルである。個々の構成要素（例えば、ロボットアーム）の３Ｄモデルは、識別情報（例えば、ロボット基部、内側アーム、外側アームなど）及びインデックス作成情報（関節の中心点と回転位置のインデックス作成）とともに提供され、各構成要素３Ｄモデルを、関節位置情報に基づいて、ロボットモデル全体に正確に設置することが可能になる。
【００４６】
ボックス３０６では、ロボット関節位置データが、ロボット２１０の現在の姿勢について、制御装置２１２からＡＲ装置２３２に提供される。関節位置データは、ロボット２１０内の関節エンコーダによって測定され、ロボット制御装置２１２に提供される。図２に示すようなマルチアーム多関節ロボットの場合、関節位置データには、６つの関節のそれぞれの角位置が含まれる。ボックス３０８では、現在の姿勢の完全なロボットの３Ｄ立体又は表面モデルが、ボックス３０６からの関節位置データと、ボックス３０４からの構成要素立体／表面モデルとを使用して構築される。例えば、（ロボット基部に取り付けられた）第１の構成要素が、関節１の位置情報に従って方向付けられる。このため、第１の構成要素の向き及びジオメトリが関節２の位置を規定し、次の構成要素の内部関節がその位置に設置され、関節２の角度データなどに基づいた向きになる。多関節ロボットの場合、この幾何学的構築技術は、内側アームから外側アーム及び手首部分まで続き、これにより、ロボットのジオメトリを全体的に規定する。構成要素モデル及び関節位置データを使用して「デルタ」型のロボットの３Ｄモデルを構築するために、対応する技術を使用してもよい。
【００４７】
このほか、測定されたデカルト座標データを使用して、ロボットの姿勢を規定することが可能である。この実施形態では、関節位置データを使用するのではなく、センサが、各アーム部品の両端の（ロボット基部基準座標系２１６内の）デカルト座標などのロボット２１０上の特定の場所の位置を決定する。
【００４８】
ボックス３１０では、現在の姿勢のロボット２１０の画像又はセンサデータをＡＲ装置２３２によって取得する。一実施形態では、画像又はセンサデータは、ＡＲ装置２３２上の１つ又は複数のカメラからの画像である。他の実施形態では、画像又はセンサデータは、レーザセンサ、超音波などの音声スペクトルセンサ、飛行時間型センサ、レーダ、ＬｉＤａｒ、あるいは任意の他の適切なタイプのセンサから、ロボット２１０上の表面を規定するデータである。
【００４９】
ボックス３１２では、ボックス３１０からの画像又はセンサデータは、ＡＲ装置２３２の場所を決定するために、ボックス３０８からの３Ｄモデルと比較される。ボックス３０８からの３Ｄモデルがボックス３１０からのカメラ又は他のセンサ２３４からの画像に正確に対応するようにする、作業セル２２０内に１つのＡＲ装置の位置及び向きのみが存在することを直感的に理解することができる。ボックス３１２での計算では、３Ｄモデルの観察視点は、モデルの外観がカメラ又は他のセンサ２３４からの画像と一致するまで調節され、その観察視点（視線及び距離）は、ＡＲ装置２３２の場所及び向きを規定する。
【００５０】
ＡＲ装置の場所がボックス３１２で最初に計算された後、その後継続的に、ＡＲ装置２３２は、任意のアプリケーション機能（制御装置２１２による操作者安全ゾーンの計算など）のために必要な場合、装置の場所及び向きをロボット制御装置２１２に伝達する。同時に、操作者２３０は、その意図された目的のために、ＡＲ装置２３２上で実行されるＡＲアプリケーションソフトウェアを使用する。これまでに考察したように、ＡＲアプリケーションソフトウェアは、ロボットの設定、構成、動作の監視、トラブルシューティング、あるいは他の何らかの機能に使用されてもよい。
【００５１】
ボックス３１２の後、フローチャート図３００の一連の作業は、新たなロボット関節位置データが制御装置２１２からＡＲ装置２３２に通信されるボックス３０６に戻り、ＡＲ装置の場所がそれに応じて再び計算され、一連の作業は、ＡＲ装置２３２が起動され、作業セル２２０内に位置づけられている限り、リアルタイムで連続的にループする。ボックス３１２での後続の各計算では、慣性及び視覚的オドメトリが、ロボット基部基準座標系２１６に対するＡＲ装置２３２の場所及び向きを連続的に追跡するために、ＡＲアプリケーションソフトウェアによって使用される。この技術では、ＡＲ装置２３２のプロセッサは、ＡＲ装置２３２に搭載された加速度計及びジャイロから信号を受信し、加速度信号とヨーレート信号の統合に基づいて、ＡＲ装置２３２の更新された位置及び向きを継続的に計算する。位置及び向きは、ＡＲ装置２３２上のカメラ又は他のセンサ２３４からの画像、特に元の較正と同じ姿勢又は他の任意の姿勢でのロボット２１０自体の画像を含む画像に基づいて検査され修正される。慣性及び視覚的オドメトリを使用してＡＲ装置の位置と向きを継続的に追跡することにより、ＡＲアプリケーションソフトウェアがＡＲディスプレイに仮想アイテムをリアルタイムで適切に表示することができるようになる、きわめて正確な結果が提供される。
【００５２】
複数のロボットを作業セル２４０内に包含してもよい。ここで、全ロボットが関節位置データを提供し、ＡＲ装置２３２は、作業セル２２０内のその位置を、単一のロボットのみの代わりに、ロボット姿勢の全部に基づいて計算する。これとは別に、ＡＲ装置の位置及び向きが単一のロボットの姿勢に基づいて計算された後、作業セル２２０内の他のロボット及び他の物体の場所は、それぞれの画像を他のロボット及び他の物体の既知の立体／表面モデルと比較することによってマッピングされてもよい。
【００５３】
これまでの考察を通じて、さまざまなコンピュータ及び制御装置について説明し、暗示している。このようなコンピュータ及び制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つ又は複数の計算装置上で実行されることを理解されたい。特に、これには、コンピュータ２４０内のプロセッサ、ロボット制御装置２１２及び上記で考察したＡＲ装置２３２が含まれる。このような装置間及びこのような装置と任意の他の装置（タブレット装置、教示ペンダント又は工場マスタ制御装置など）と間の通信を、有線ネットワークを介して実施しても、携帯電話／データネットワーク、Ｗｉ−Ｆｉ、ブロードバンドインターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの適切な無線技術を使用して実施してもよい。
【００５４】
上記で概説したように、任意の姿勢のロボットの３Ｄ立体／表面モデルに基づく拡張現実（ＡＲ）装置の位置及び向きの較正のための開示技術は、従来技術に勝るいくつかの利点を提供する。任意の姿勢のロボット自体を視標として使用してＡＲ装置の場所を計算し、次に、慣性オドメトリと組み合わせてロボットの視覚的オドメトリを使用してＡＲ装置の場所を継続的に再較正する能力は、平面標的の正確な設置又は特定の姿勢のみのロボットの視覚的分析に依存する従来技術よりもはるかに優れている。
【００５５】
任意の姿勢のロボットの３Ｄ立体／表面モデルに基づいてＡＲ装置の位置及び向きを較正するための方法及びシステムのいくつかの例示的な態様及び実施形態が上記で考察されたが、当業者は修正、並べ替え、追加及びその副次的組み合わせを認識するであろう。このため、以下の添付の請求項及び今後導入される請求項は、それぞれの真の精神及び範囲内にあるような、そのような修正、並べ替え、追加及び副次的組み合わせをいずれも含むと解釈されることが意図される。
【図１】
2022500263.tif 000003
【図２】
2022500263.tif 000004
【図３】
2022500263.tif 000005
【国際調査報告】
2022500263.tif 000006