(57)【要約】【課題】複数のマーカを使用するＡＲアプリケーションを、マーカが見える任意の場所で正確なオーグメンテーションを表示できるようにセットアップするためのシステム及び方法の提供。【解決手段】上記方法は、互いに隣接する２つのマーカの複数のペアがＡＲデバイスの視野内で視認できるように、ワークスペース全体に複数のマーカを配置することを含む。該方法はさらに、マーカの全てのペアにおいて上記２つのマーカ間の距離的関係を求めることと、上記２つのマーカ間の距離的関係を使用して、互いに隣接しないマーカ間の距離的関係を求めることとを含む。また該方法は、１つのマーカとワークスペース内のオーグメンテーションとの間の距離的関係を特定することと、隣接するマーカ間の距離的関係及び隣接しないマーカ間の距離的関係を使用して、他のマーカとオーグメンテーションとの間の距離的関係を特定することとを含む。【選択図】図１
2020183033.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）アプリケーションを提供する方法であって、
カメラを有するＡＲデバイスの視野内で互いに隣接する２つのマーカの複数のペアが視認できるように、ワークスペース全体に複数のマーカを配置することと、
マーカの全てのペアにおいて、互いに隣接する２つのマーカ間の距離的関係を求めることと、
マーカの全てのペアにおける前記２つのマーカ間の距離的関係を使用して、互いに隣接しないマーカの全てのペア間の距離的関係を求めることと、
前記複数のマーカのうちの１つと前記ワークスペース内のオーグメンテーションとの間の距離的関係を特定することと、
互いに隣接するマーカ間の距離的関係及び互いに隣接しないマーカ間の距離的関係を使用して、他の全ての複数のマーカと前記オーグメンテーションとの間の距離的関係を特定することと、を含む方法。
【請求項２】
前記アプリケーションの動作中の任意の時点で、前記オーグメンテーションを、視認できる最も近いマーカに関連付けて表示することをさらに含む、請求項１に記載の方法。
【請求項３】
前記オーグメンテーションを表示することはランタイムステップである、請求項２に記載の方法。
【請求項４】
前記他の全ての複数のマーカと前記オーグメンテーションとの間の距離的関係を特定することは、１つのマーカに対する現在視認可能なマーカのオフセットによって修正された前記１つのマーカに対するオフセットを使用して、前記オーグメンテーションのオフセットを計算することを含む、請求項１に記載の方法。
【請求項５】
前記オフセットを計算することは、アプリケーションのランタイムステップである、請求項４に記載の方法。
【請求項６】
互いに隣接しないマーカの全ての間の距離的関係を求めることは、マーカのペアの全てにおける２つのマーカ間の距離的関係のうち選択されたものを乗算することを含む、請求項１に記載の方法。
【請求項７】
前記ワークスペースはロボットを含む、請求項１に記載の方法。
【請求項８】
前記オーグメンテーションは前記ロボット上の点である、請求項７に記載の方法。
【請求項９】
前記マーカは、前記ワークスペースを囲繞する安全柵に配置される、請求項７に記載の方法。
【請求項１０】
前記ＡＲデバイスはタブレット、スマートフォン又はＡＲメガネである、請求項１に記載の方法。
【請求項１１】
ワークスペース内のロボットを較正するための拡張現実（ＡＲ）アプリケーションを提供する方法であって、
カメラを有するＡＲデバイスの視野内で互いに隣接する２つのマーカの複数のペアが視認できるように、前記ワークスペース全体に複数のマーカを配置することと、
マーカの全てのペアにおいて、互いに隣接する２つのマーカ間の距離的関係を求めることと、
マーカの全てのペアにおける前記２つのマーカ間の距離的関係を使用して、前記距離的関係のうち選択されたものを乗算して、互いに隣接しないマーカの全てのペア間の距離的関係を求めることと、
前記複数のマーカのうちの１つと前記ロボット上の点との間の距離的関係を特定することと、
互いに隣接するマーカ間の距離的関係及び互いに隣接しないマーカ間の距離的関係を使用して、他の全ての複数のマーカと前記点との間の距離的関係を特定することと、
前記アプリケーションの動作中の任意の時点で、前記点を、視認できる最も近いマーカに関連付けて表示することと、を含む方法。
【請求項１２】
前記他の全ての複数のマーカと前記点との間の距離的関係を特定することは、１つのマーカに対する現在視認可能なマーカのオフセットによって修正された前記１つのマーカに対するオフセットを使用して、前記点のオフセットを計算することを含む、請求項１１に記載の方法。
【請求項１３】
前記オフセットを計算することは、アプリケーションのランタイムステップである、請求項１２に記載の方法。
【請求項１４】
前記マーカは、前記ワークスペースを囲繞する安全柵に配置される、請求項１１に記載の方法。
【請求項１５】
拡張現実（ＡＲ）アプリケーションを提供するシステムであって、
カメラを有するＡＲデバイスの視野内で互いに隣接する２つのマーカの複数のペアが視認できるように、ワークスペース全体に複数のマーカを配置する手段と、
マーカの全てのペアにおいて、互いに隣接する２つのマーカ間の距離的関係を求める手段と、
マーカの全てのペアにおける前記２つのマーカ間の距離的関係を使用して、互いに隣接しないマーカの全てのペア間の距離的関係を求める手段と、
前記複数のマーカのうちの１つと前記ワークスペース内のオーグメンテーションとの間の距離的関係を特定する手段と、
互いに隣接するマーカ間の距離的関係及び互いに隣接しないマーカ間の距離的関係を使用して、他の全ての複数のマーカと前記オーグメンテーションとの間の距離的関係を特定する手段と、を含むシステム。
【請求項１６】
前記アプリケーションの動作中の任意の時点で、前記オーグメンテーションを、視認できる最も近いマーカに関連付けて表示する手段をさらに含む、請求項１５に記載のシステム。
【請求項１７】
前記他の全ての複数のマーカと前記オーグメンテーションとの間の距離的関係を特定する手段は、１つのマーカに対する現在視認可能なマーカのオフセットによって修正された前記１つのマーカに対するオフセットを使用して、前記オーグメンテーションのオフセットを計算する、請求項１５に記載のシステム。
【請求項１８】
前記ワークスペースはロボットを含む、請求項１５に記載のシステム。
【請求項１９】
前記オーグメンテーションは前記ロボット上の点である、請求項１８に記載のシステム。
【請求項２０】
前記マーカは、前記ワークスペースを囲繞する安全柵に配置される、請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１９年５月３日に提出されたマルチターゲットキャリブレーション及びオーグメンテーションと題された米国仮出願第６２／８４３１３１号の出願日の利益を主張するものである。
【０００２】
本開示は、広くは、複数のマーカを使用する拡張現実（ＡＲ）アプリケーションをセットアップするためのシステム及び方法に関し、特には、マーカが視認できる任意の場所に正確なオーグメンテーション（augmentations）を表示できるように、ワークスペース全体にわたって提供される複数のマーカを使用するＡＲアプリケーションをセットアップするためのシステム及び方法に関する。
【背景技術】
【０００３】
拡張現実（ＡＲ）は、現実世界に存在する対象物が、仮想世界でコンピュータが生成した知覚情報によって強化される、現実世界の環境のインタラクティブな体験として説明される。較正や教示等の目的のために産業用ロボットの動作をシミュレートするためにＡＲシステムを使用することは、当技術分野において周知である。ＡＲシステムは例えば、特定の操作をどのように実行するかをロボットに教示する際に使用可能であり、その場合、熟練したオペレータがＡＲシステムを使用して操作を実演し、ロボットは関連する動作を学習する。ＡＲシステムは、ロボットが侵入してはならない仮想安全領域の確立等、他の教示活動にも使用可能である。
【０００４】
ある既知のＡＲシステムでは、オーグメンテーションは、単一の固定されたターゲットに関連して表示される。最高の精度を得るには、ＡＲデバイスの視野内にターゲットを表示するべきであり、これにより、ユーザが最も正確なオーグメンテーションを視認できる領域が制限される。マーカが表示されていないときは、モーショントラッキングを使用してオーグメンテーションを表示することもできるが、精度はすぐに低下する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下の説明は、複数のマーカを使用するＡＲアプリケーションをセットアップするためのシステム及び方法を開示・説明し、マーカが見えるところならどこでも正確なオーグメンテーションを表示できるようにする。
【課題を解決するための手段】
【０００６】
上記方法は、複数のマーカをワークスペース全体に配置することを含み、その結果、２つの隣接するマーカの複数のペアをＡＲデバイスの視野内で見ることができる。この方法はさらに、マーカの全てのペアにおける２つのマーカ間の距離関係を決定することと、マーカの全てのペアにおける２つのマーカ間の距離関係を使用して、非隣接マーカの全てのペア間の距離関係を決定することとを含む。この方法はまた、複数のマーカの１つとワークスペース内のオーグメンテーションとの間の距離関係を識別することと、隣接するマーカと非隣接マーカとの間の距離関係を使用して他のマーカとオーグメンテーションとの間の距離関係を識別することとを含む。一実施形態では、ワークスペースはロボットを含み、オーグメンテーションはロボット上の点である。
【０００７】
本開示の追加の特徴は、添付の図面と併せて、以下の説明及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】ロボット及び複数の静止マーカを含むワークステーションの等角図である。
【図２】ＡＲアプリケーションをセットアップするための処理を示すフローチャートの図である。
【発明を実施するための形態】
【０００９】
複数のマーカを使用して拡張現実アプリケーションをセットアップするためのシステム及び方法を対象とする本開示の実施形態の以下の説明は、本質的に単なる例示であり、本開示又はそのアプリケーション若しくは使用を限定することを意図するものではない。
【００１０】
図１は、機械を含むワークステーション１０の等角図であり、該機械は具体的には、ベース部１４と、回転・旋回ジョイント１８によってベース部１４に連結された延長リンク１６と、肘旋回ジョイント２２によってベース部１４とは反対側で延長リンク１６に連結結合された作業リンク２０と、エンドエフェクター２４とを有するロボット１２である。ロボット１２は、６軸ロボット等の、本明細書で論じる目的に適した任意の多軸産業用ロボットとすることができ、材料の切断、溶接、部品の選択・移動・配置、塗装等の、製造環境で様々な操作を実行するようにプログラムされることができる。ロボット１２又は他の機械は、単にワークステーション１０に状況を与えるために示されていることに留意されたい。
【００１１】
安全目的のため、安全柵２８が、ワークステーション１０に提供されてロボット１２の周りに配置され、ここではロボット１２から分離された非可動の構成要素として動作する。安全柵２８には、画像、モデル又は他のしるし等の複数の固有の静止した拡張現実マーカ３０、３２、３４、３６及び３８が固定され、これらのマーカは、複数の認識可能な特徴を有し、マーカ３０、３２、３４、３６及び３８の特徴は互いに異なる。マーカ３０、３２、３４、３６及び３８は、ワークステーション１０内の安全柵２８以外の任意の適切な静止物上に設けることができることに留意されたい。さらに、５つのマーカを設けることは単なる例であり、任意個数の適当なマーカを設けることができることにも留意されたい。ユーザ４２は、ワークステーション１０内に立っており、ＡＲアプリケーションがダウンロードされたタブレット４４を保持している。タブレット４４は、ＡＲアプリケーションに提供されるワークステーション１０の画像を撮るカメラ４６と、マーカ３０、３２、３４、３６及び３８の位置並びに他のものを含むワークステーション１０を表示するディスプレイ４８とを備える。マーカ３０、３２、３４、３６及び３８は、互いに隣接する２つのマーカ３０、３２、３４、３６又は３８が１つの単一のカメラ視野において見えるように柵２８上に配置される。具体的には、マーカ３０と３２、マーカ３２と３４、マーカ３４と３６、マーカ３６と３８等、２つのマーカの隣接グループの全てが、１つのカメラ視野にて視認されるように、マーカ３０、３２、３４、３６及び３８が柵２８に設けられる。タブレット４４以外の他のＡＲデバイス（例えばＡＲメガネ、スマートフォン等）も使用可能である。
【００１２】
以下で詳細に説明するように、本開示は、ＡＲプロセス及び画像認識アルゴリズムを説明しており、ここではボックス２６として示されるワークステーション１０におけるオーグメンテーション、例えばロボット１２上の点が、マーカ３０、３２、３４、３６及び３８との関係でタブレット４４上に表示される。このプロセスが含むキャリブレーション工程では、ワークステーション１０におけるマーカ３０、３２、３４、３６及び３８の位置を較正するために、マーカ３０、３２、３４、３６及び３８の互いに隣接する２つのセットの各々を、カメラ４６の視野内に同時に体系的に配置して、隣接するマーカ間の距離的関係を求める。例えば、カメラ４６を制御して、先ず、アルゴリズムがマーカ３０と３２との間の距離的関係を定めるようにマーカ３０及び３２をカメラ視野内に配置し、次に、アルゴリズムがマーカ３２と３４との間の距離的関係を定めるようにマーカ３２及び３４をカメラ視野内に配置し、次に、アルゴリズムがマーカ３４と３６との間の距離的関係を定めるようにマーカ３４及び３６をカメラ視野内に配置し、次に、アルゴリズムがマーカ３６と３８との間の距離的関係を定めるようにマーカ３６及び３８をカメラ視野内に配置する。故に、最初の２つのマーカ３０及び３２が表示されていない限り、マーカ３２、３４、３６又は３８の少なくとも１つは、これまでのキャリブレーション工程において識別されている筈である。このキャリブレーション工程は、マーカ３０、３２、３４、３６及び３８の全ての位置が特定されるまで続く。
【００１３】
画像認識アルゴリズムによって決定された、隣接する全てのマーカ、すなわちマーカ３０と３２、マーカ３２と３４、マーカ３４と３６、及びマーカ３６と３８の間の距離値を以下の表１に示す。表１において、Ｍはマーカを表し、Ｔはあるマーカから別のマーカへの距離変換を規定し、参照符号は特定のマーカ３０、３２、３４、３６及び３８を表し、列はマーカからの距離変換であり、行はマーカへの距離変換である。マーカ３０、３２、３４、３６及び３８のうち互いに隣接していない任意の２つのマーカ間の距離的関係は、表１に示すように、隣接するマーカ間の既知の距離的関係に基づいて、あるマーカから隣接するマーカへの距離変換の乗算として数学的に計算される。
【００１４】
【表１】
2020183033.tif 000003
【００１５】
マーカ３０、３２、３４、３６及び３８間の、考えられる距離関係の全てが決定されると、アプリケーションのランタイム操作を実行して、拡張ボックス２６とマーカ３０、３２、３４、３６及び３８の各々との間の関係を求めることができる。ＡＲアルゴリズムは、先ず、マーカ３０、３２、３４、３６又は３８の１つと拡張ボックス２６との間の距離的関係、例えば、マーカ３０、３２、３４、３６又は３８のうち拡張ボックス２６に最も近い１つのマーカを、アプリケーションの動作中の任意の時点で、予め定めた技術を用いて求める。次にアルゴリズムは、表１の変換を使用して、拡張ボックス２６とマーカ３０、３２、３４、３６又は３８の他のマーカとの間の距離的関係を求める。例えば、アルゴリズムは、表示されたオーグメンテーションのオフセットを、現在表示されているマーカから記録済みマーカへのオフセットによって修正された記録済みマーカに対するオフセットを使用して計算する。ユーザ４２が異なる場所に移動すると、拡張ボックス２６は、その場所が最も信頼できるマーカ３０、３２、３４、３６又は３８に対して表示される。
【００１６】
図２は、上述のＡＲアプリケーションを確立するためのプロセスを示すフローチャート５０の図である。ボックス５２において、マーカ３０、３２、３４、３６及び３８はワークステーション１０全体に配置される。ボックス５４において、ユーザ４２は、カメラ視野内で隣接するマーカの各ペアを探す。ボックス５６において、アルゴリズムは、マーカ３０、３２、３４、３６及び３８のうち隣接するペア間の距離的関係を求める。ボックス５８において、アルゴリズムは、全てのマーカ３０、３２、３４、３６及び３８間の距離的関係を求める。ボックス６０において、アルゴリズムは、マーカ３０、３２、３４、３６及び３８のうちの１つに対する、ワークステーション１０内のオーグメンテーションを登録する。ボックス６２において、アルゴリズムはオーグメンテーションを、該オーグメンテーションに最も近いマーカに関連付けて表示する。ボックス６４において、アルゴリズムは、表示されたオーグメンテーションと他のマーカとの間のオフセットを計算する。
【００１７】
上述の説明は、本開示の単なる例示的な実施形態を開示及び記載している。当業者は、そのような説明、並びに添付の図面及び特許請求の範囲から、以下の特許請求の範囲で規定される本開示の精神及び範囲から逸脱することなく、様々な変更、修正及び変形を行うことができることを容易に認識するであろう。
【図１】
2020183033.tif 000004
【図２】
2020183033.tif 000005
【外国語明細書】
2020183033000001.pdf