(57)【要約】【課題】  セットアップ、プログラミング、ロボットによって行なわれる動きのシーケンスの教示等のための１つまたは複数のロボットの動作を簡略化する。【解決手段】  設備内でのロボットの動作、ロボットによって行なわれる動作シーケンスの再プログラミングおよび削除を改善するために、この発明はコンピュータによって支援された情報を視覚装置上の現実環境の画像に視覚化するための装置および方法を提供する。画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられる。【選択図】        図５
2004243516.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって生成された情報を視覚装置上にある画像受取装置によって検出される現実環境の画像へとフェードインするための方法であって、前記画像受取ユニットの位置および方向付けまたはポーズについて判定が行なわれ、この判定に対応するロボット特有の情報が前記視覚装置上の前記現実環境の画像に重ねられる、コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項２】
少なくとも１つのロボット特有の座標系がフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項３】
ハンドフランジに固定された座標系がフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項４】
ロボットの軸がフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項５】
少なくとも２次元で可動のロボットの手動プログラム機の制御要素の画像がフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項６】
関連する制御ユニットおよびロボットハンドフランジの方向付けの画像がフェードインされる、請求項５に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項７】
ロボットによって動かされる少なくとも１つのツール、好ましくはいくつかのロボット要素がロボットの作業環境へとフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項８】
作業プロセスに関してロボットによってたどられるロボット経路、特にツール中央点の経路が任意で付加的な情報を含めてフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項９】
経路点がフェードインされ、空間での前記経路点の位置は可変であり、すべての前記経路点の前記位置に対応するロボット経路の湾曲がフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１０】
ロボットによって機械加工される工作物の画像が、任意でそれに関連付けられる軸とともにフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１１】
ロボット経路を検出された現実の工作物の位置に適合するために、前記工作物の仮想の画像がそれに適合されたロボット経路とともにフェードインされるため、前記仮想の工作物の画像を前記現実の工作物の画像に重ね合わせることで、実行される前記ロボット経路を前記現実の工作物の位置に適合することができる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１２】
ロボットによって到達可能な作業領域および／または許可される動作領域が前記視覚装置上に視覚化される、請求項１に記載のコンピュータによって生成された情報を現実環境
の画像へとフェードインするための方法。
【請求項１３】
ロボットツール、ロボットハンドおよび／またはさらに別のロボット要素の動きの通路が前記視覚装置上に視覚化される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１４】
少なくとも１つのロボットの少なくとも１つの手動プログラム機の永久的および／または瞬間的な関連付けが視覚化される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１５】
表示の位置および方向付けは、空間において固定されたマーキングによって検出される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１６】
前記視覚装置の位置および方向付けは、無線によって判定される、請求項１５に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１７】
前記視覚装置の位置および方向付けは、光学的に判定される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１８】
前記ロボット特有のコンピュータによって生成された情報は、ユーザによって着用されるデータの眼鏡へとフェードインされる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項１９】
前記ロボット特有のコンピュータによって生成された情報は、前記視覚装置としての透明なスクリーンへと重ねられる、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項２０】
前記ロボット特有のコンピュータによって生成された情報は、前記視覚装置としての表示可能なスクリーン上に光電子工学的に記録された情報とともに表示される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項２１】
前記ロボット特有のコンピュータによって生成された情報は、ロボットのための手動プログラム機の表示可能なスクリーンの形のスクリーン上に光電子工学的に記録された情報とともに表示される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項２２】
前記ロボット特有のコンピュータによって生成された情報は、ロボットのための手動プログラム機に接続可能な視覚装置としての表示可能なスクリーン上に光電子工学的に記録された情報とともに表示される、請求項１に記載のコンピュータによって生成された情報を現実環境の画像へとフェードインするための方法。
【請求項２３】
画像受取装置および視覚装置を有する、コンピュータによって生成された情報を現実環境の画像に視覚化するための装置であって、前記画像受取装置の位置および方向付けまたはポーズを判定するための手段、および対応するロボット特有の情報の判定を前記視覚装置上の現実環境の前記画像に重ねるための手段を特徴とする、コンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２４】
少なくとも１つのロボットに特有の座標系の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２５】
ハンドフランジに固定された座標系の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２６】
ロボットの軸の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２７】
少なくとも２次元で可動のロボット手動プログラム機の動作ユニットの画像の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２８】
関連する動作ユニットおよび前記ロボットハンドフランジの方向付けの画像の表示を含む、請求項２７に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項２９】
ロボットによって動かされる少なくとも１つのツールおよび好ましくはいくつかのロボット要素の表示をロボットの動作環境に含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３０】
任意でロボット、特にロボットのハンドフランジのための付加的な情報とともに、動作プロセス中にたどられるロボット経路の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３１】
空間における前記経路点の位置の可変性に関する経路点の表示およびすべての経路点に対応するロボット経路の湾曲の位置の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３２】
任意で関連付けられる軸とともに、ロボットによって機械加工される工作物の画像の表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３３】
検出された現実の工作物の位置にロボット経路を適合するための、工作物の仮想の画像の表示をそれに適合されたロボット経路とともに含み、前記仮想の工作物の画像を前記現実の工作物の画像と重ね合わせることで、実行されるロボット経路を前記現実の工作物の位置に適合することができる、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３４】
ロボットによって到達可能な動作領域および／または許可される動作領域の表示を前記視覚装置上に含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３５】
ロボットツール、ロボットハンドおよび／またはさらに別のロボット要素の動きの通路の表示を前記視覚装置上に含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３６】
少なくとも１つの手動プログラム機と少なくとも１つのロボットとの永久的および／または瞬間的な関連付けの表示を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３７】
前記表示の位置および方向付けを検出するために空間において固定されたマーキングを含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３８】
前記マーキングは、無線レシーバ、特にトランスミッタである、請求項３７に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項３９】
前記マーキングは、光学レシーバによって検出可能である、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項４０】
ロボット特有のコンピュータによって生成された情報を表示するための、ユーザによって着用されるデータ眼鏡を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項４１】
ロボットに特有のコンピュータによって生成された情報を表示するための透明なスクリーンを含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項４２】
ロボット特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための表示可能なスクリーンを含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項４３】
ロボットに特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための、ロボットのための手動プログラム機の表示可能なスクリーンの形の視覚装置を含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【請求項４４】
ロボットに特有のコンピュータによって生成された情報を光電子工学的に記録された情報とともに表示するための、ロボットの手動プログラム機と接続可能な視覚装置としての表示可能なスクリーンを含む、請求項２３に記載のコンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
この発明は、コンピュータによって生成された情報を視覚化するための方法および装置に関する。
【背景技術】
【０００２】
発明の背景
ＷＯ  ００／５２５３６は、技術部品に関するデータバンクおよび状態情報などのコンピュータによって生成された情報を対応する技術部品の実像とともに特にテキストの形でディスプレイに表示することを開示している。実像とコンピュータによって生成された情報とをともに表示することを、強化現実（augmented reality;ＡＲ）と呼ぶ。
【０００３】
以前の産業ロボットは大抵、稼動時に一度だけプログラムされ、何の変更もなく長年同じ作業を行なっていた。より柔軟な自動化の枠組み内では、再プログラミングは時間およびコストの面で重要である。
【０００４】
ロボットを予め定められた位置または邪魔にならないところへと動かすためには、ロボットは、動きのキーを使用してユーザによって手動で動かすこともできるし、または６Ｄのマウスによって制御することもできる。ロボットの動きの方向は、選択される基準座標系に依存する。ユーザには、どの基準座標系が選択されているかまたはどのようにこれが空間において方向付けられているかが常にすぐにわかるわけではない。実際には、慎重な試行錯誤が何度も行なわれてロボットが所望の方向に動いているかが規定される。誤りは深刻な損傷または人間の負傷につながり得る。
【０００５】
ある程度、このことはロボットに関する経験の少ないユーザにも当てはまる。なぜなら、問題がある場合の基準座標系の概念は、ロボットシステムを効率的に動作できるようにするためにロボットユーザが持つべき知識を前提としているためである。しかしながら、このことを「ロボットモバイス（robot movice）」に理解できるようにするのは難しい。なぜなら、一般に彼らには対応する数学的な資質に欠けているためである。
【０００６】
今日、産業ロボット上のツール中央点（ＴＣＰ）の測定は、通常、手動で行なわれる。したがって、たとえば、ツール中央を使用して、事前に設定された点を異なる方向からある回数まで動かし、対応するロボットの位置を記憶し、これらからロボットハンドフランジに関するツール中央の位置および任意で方向付けを判定する。工作物の測定、すなわち、基本基準系の規定は類似の態様で行なわれる。
【０００７】
ロボットシステムの意図される用途（ツールの本質−溶接、切断、接着および類似のツールならびに工作物に関する方向付け）の関数として、ロボットユーザは具体的な測定方法を選択しなければならない。たとえば、測定されるべき工作物座標系のゼロ点がロボットの動作領域外にある場合、測定は空間における既知の点を使用して間接的に行なわなければならない。機械加工される工作物がロボットフランジに固定されるグリップに案内される場合、異なる測定方法を選ばなくてはならない。すべての用途の事例を網羅するために、１８より多くの異なる測定方法が知られている。幅広いトレーニングの後でも、ロボットユーザには一般に、具体的な事例においてどの測定方法を使用すべきかはよくわからない。経験のあるユーザであっても、他の「ツール」および／または「工作物」などの新
しい構成の場合には知識不足に陥る。なぜなら、測定が行なわれるのは稀であるからである。
【０００８】
測定の手順は非常に複雑になることがあり、かなりの時間がかかる。工作物がロボットによって案内され、ツールが静止している頻繁に起こる事例では、たとえば、位置の測定を３回行なって、次に方向付けの判定を行なう必要がある。不正確な位置付けは、測定方法の結果が得られなかったりまたは信頼性のない結果につながるため、慎重な手順が必要である。測定結果の視認性の欠如も良好な結果が存在するかまたは方法の誤り、不正確な入力等によって誤ったものになっているかどうかがはっきりしないことにつながる。
【０００９】
今日、ロボットプログラムは、ロボットが動きのターゲットの位置へと手動で動かされ、対応する経路点が記憶されることで、教示によって作られることが多い。シミュレーションによってオフラインで作られたプログラムの経路点は、後にその本来の場所で教示されなければならないことが多い。なぜなら、シミュレーションモデルの幾何学的構造と実際のロボットの使用環境とが正確にある程度一致することは稀であるからである。欠陥のあるロボット機構を別のそのような機構と置換えるときでも、ロボットプログラムの経路点を再教示しなければならないことが多い。なぜなら、新しい機構は製造の許容差の結果としてわずかに異なる幾何学的構造を有するためである。
【００１０】
人間が近くにいる場合、ロボットは非常にゆっくりとしか動くことができず、ターゲット位置まで正確に動かされなければならないため、教示または事後教示は非常に時間がかかる。さらに、ゆっくりとした動きにかかわらず、常に物の損傷や人間の負傷といった危険が伴う。この危険は、特に新たに製造された（たとえば、シミュレーションによってオフラインで製造された）ロボットプログラムの場合に存在する。これをプログラム機はテストのためにロボット上で作動させなければならない。
【００１１】
動作において問題または失敗が起こると、ロボットはプログラムされた経路に沿って戻されることが多い。そのような状況またはその他の複雑な状況では、ロボットシステムの挙動はユーザによって直接的に予測することはできない。ここでも物の損傷または人間の負傷が起こり得る。
【００１２】
衝突を排除するため、ロボットシステムに対して動作領域が固定され、これはロボットツールまたはロボット全体によって貫通されてはならないかまたはロボットツールまたはロボットはそれを離れてはならない。いくつかの「協働」ロボットシステムおよび／またはその他の装備の構成要素および／または人間によってその他の動作領域が共同で使用されるため、それらの使用を管理しなければならない。
【００１３】
そのような施設における動作領域の固定は複雑な測定を前提とする。工場内での固定された動作領域の監視または適合も非常に複雑である。なぜなら、視覚的な表現または表示が存在しないためである。工場内ではロボットシステムの到達可能な動作領域が重なっているかまたはどのゾーンで重なっているかがはっきりしないため、衝突の危険が存在する。
【００１４】
ロボットシステムが手動で案内される動作の場合（知能支援装置または「コボット（cobot）」としてのロボット）、ロボットの動きの自由度はユーザの活動を容易にするために人工的に制限されていることが多い。仮想の固定によって、ロボットのエフェクタは、たとえば、常に１つの平面内で制御されて案内され、方向付けは常に地面等に平行に保たれる。
【００１５】
仮想の固定はロボットシステムの動作領域を制限する特別な事例である。動作領域は、
ロボットシステムまたはその一部が離れることのない、またはそれによって貫通されてはならない体積である。ロボットがツールに対してユーザによって案内される特別な適用例では、ソフトウェアベースでグリップの方向付けを固定し、空間でのグリップの位置はユーザによって常に自由に変化させることができるのが適切な場合がある。１つの適用例は、組立における接合支援としてのロボットの使用である。ロボットは重くかさばる可能性のある構成要素を運び、ユーザは力の消費量を制限してそれを動かすことができる。構成要素は最初から組立てられるべき位置にある。別の適用例は、たとえば、面の塗装であり、ロボットは塗装される面から予め定められた距離にツール（すなわち、塗料吹付け銃）を保持し、ユーザは面の上で銃を案内する。動きの可能性に対するそのようなソフトウェアベースの計画された制限は仮想の固定と称される。なぜなら、ロボットのグリップの機械的な強制的案内に類似した態様で作用するためである。
【００１６】
動作領域または仮想の固定に関する情報はロボット制御における概略的な数学的情報として提示される。
【００１７】
仮想の固定は現在の作業の関数として動的に変化させることができる。プログラミング中の仮想の固定または動作領域の固定または修正は、多くのユーザの必要な概念能力を超えるため、ロボットの経路および／または回転運動、もしくはより正確にはそのツール中央点またはＴＣＰがどの方向で可能かまたは阻止されるかは、ユーザにはすぐにわからない。ロボットシステムの挙動を予測できないため、ユーザは確信が持てない。不正確な操作の結果、たとえば、１つの方向に大きな力を作用させると、仮想の固定によって阻止され、ロボットシステムが損傷することがある。
【００１８】
現在の製造工場では、多数のロボットが隣接して置かれていることが多い。これらロボットの各々は、それ自身の手動のプログラム機を有する。手動のプログラム機とロボットとの間の関連付けが存在することは原則的にその二者の間に任意で存在する接続ケーブルで明らかである。この状態では、ロボットシステムの稼動中およびプログラミング中ならびに後続の動作中に、関連付けられるロボット接続ケーブルを備えた１つの具体的な手動プログラム機を後に追跡することは多大な努力と時間を要するため、実際には試行錯誤の方法が一般に使用される。この場合、手動のプログラム機は慎重に動作され、所望のロボットが動いているかがチェックされ、そうでなければ、別の手動プログラム機が試される。ケーブルが存在せず、その代わりに手動プログラム機とロボット制御との間の通信が無線の形で行なわれる場合もこれが当てはまる。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
この発明の課題は、セットアップ、プログラミング、１つまたは複数のロボットによって行なわれる動きのシーケンスの教示等のために、１つまたは複数のロボットの動作を簡略化する方法および装置を提供することである。
【課題を解決するための手段】
【００２０】
発明の概要
上述の種類の方法では、この発明の課題は、画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられることで解決される。
【００２１】
装置に関して、課題は、コンピュータによって生成された情報を現実環境の画像へと視覚的にフェードインするための装置によって解決され、この装置には画像受取装置のポーズを判定するための手段および判定に対応するロボット特有の情報を視覚装置上の現実環境の画像に重ねるための手段がある。
【００２２】
この発明の範囲内では、ロボット特有の情報という言葉は、ロボットの動作に関する情報、たとえば、具体的には実際のロボット上の動作およびプログラムデータに関する情報、ロボットによって操作される工作物、および装備、部品など近くにある障害物に関する情報など、ポーズおよび動きに関する情報を含む。この情報は、視覚装置上に図形的にフェードインされる。
【００２３】
再プログラミングが容易なため、この発明によって、ロボットによる動作シーケンスの自動化の柔軟性を高めることが可能になる。
【００２４】
この発明は、ロボットの稼動、プログラミングおよび動作をより単純かつ効率的にする。具体的には、この発明は、運搬設備などの付加的なロボット構成要素を有する複雑な設備のロボットのグループに関する。
【００２５】
この発明の第１の好ましい展開例によると、少なくとも１つのロボット特有の基準の座標系がフェードインされ、特にハンドフランジに固定された座標系がフェードインされる。ロボットハンドフランジ座標系およびハンドに固定されたツールの視覚化は、この座標系の原点がＴＣＰ（ＴＣＰ座標系）上に再現されるように行なわれるのが好ましい。静止した「世界座標系」または静止した、工作物に固定された基本の座標系などの他の基準の座標系を視覚化することも可能であり、後者は静止したロボットベースの対称中心にあることが好ましい。
【００２６】
所与の要件の関数としての静止した基本の座標系（世界、ベース）の場合、さらにまたはこれに代えて、ＴＣＰへと移動されかつ空間におけるその方向付けが静止した基準の座標系の方向付けに一致するがロボットフランジとともに動く座標系をフェードインすることが可能である。
【００２７】
別の好ましい展開例によると、ロボットの軸がフェードインされる。仮想のロボットの軸は、ロボットの実像の上に重ね合わされ、それらはロボットの個々の部品（ベース、ロッカー、ロボットアームおよびロボットハンド）の軸に対応するかまたはそれらに一致し、このようにしてそれらが表現される。
【００２８】
座標方向はロボットシステム上に、たとえば、そのツール中央点上にフェードインされ、任意で指定される（デカルト法の場合、たとえば、ｘ、ｙ、ｚと指定され、軸特定方法の場合、たとえば、軸１、軸２、軸３と指定される）。アクティブな座標方向または軸を図形的に、たとえば、色または動画によって強調することが適切な場合がある。
【００２９】
基準の座標系を直接操作できるようにするために、選択された種類の座標系が予め定められた位置に自動的に生成され、視覚化される。座標系は、所望の位置および方向付けまたはポーズが得られるまで視覚的な制御の下でユーザによって移動および回転させることができる。
【００３０】
この発明は強化現実（ＡＲ）によって現実のロボットシステム上に選択された基準の座標系またはロボットの軸を視覚化するが、これによってユーザは特にロボットシステム置換キーによる手動の置換を容易に予測することができる。
【００３１】
この発明によって可能になる基準の座標系の操作性によって、ユーザは面倒で複雑な測定方法を学び、実行する必要がなくなる。増補された仮想の対象物の操作は、直感的にわかりやすく、時間および費用を節約し、ユーザ側に要求される資質を低減する。
【００３２】
この発明のさらに別の好ましい展開例は、少なくとも２次元で可動のロボット手動プログラム機の制御要素の画像がフェードインされ、特に関連する制御要素およびロボットハンドフランジの方向付けの画像がフェードインされることを特徴とする。ユーザにはわかりやすく、たとえば、手動プログラム機上の実際の制御要素が動作された場合に、ロボットおよびそのハンドがそこに固定されたツールとともにどのような動きを行なうかについての概念が容易になる。制御要素をロボットシステムＴＣＰ上にフェードインしかつそれとともに動かしてもよく、または入力要素を予め定められた位置でディスプレイに重ねてもよいし、または空間に固定してもよい。
【００３３】
対称の構造を有する制御要素の場合、フェードインされた入力要素での座標系の位置がユーザには直接的に検出できないことがある。そのような場合、フェードインされた入力要素にさらにマーキング（たとえば、図形記号）を行なうのが適切な場合がある。この意味で、制御要素上でのユーザの手の通常の位置をフェードインしてもよい。６自由度の制御要素（たとえば、６Ｄマウス）では、制御要素なしにユーザの手をフェードインすれば十分な場合がある。
【００３４】
座標系またはロボット軸などの仮想の要素、または手動プログラム機上の制御要素などの仮想の形の現実の要素を実際のロボットの画像とともに視覚化することとは別に、非常に好ましい展開例によると、ロボットおよびその動きのシーケンスを現実環境に視覚化して現実の工作物をそこに存在させることも可能である。これによって物の損傷や人の負傷の危険が低減される。増補されたロボットは、人がすぐ近くにいても無作為なスピードで動くことができるため、タイム露出が低減される。
【００３５】
経路点を教示するため、シミュレーションされるロボットはユーザによって動かされ、所望のターゲット位置に達した際に経路点が記憶される。プログラムをテストするとき、シミュレーションされるロボットは現実のシステムの代わりにプログラムされた経路をたどる。これはプログラムされたスピードまたは他の無作為なスピードで行なってもよい。経路の追従は現実に近いようにシミュレーションする必要はない。連続的にターゲットのポーズをフェードインして（すなわち、経路点から経路点へのジャンプ）、それらをチェックし、任意で適合するだけでよいので有利である。
【００３６】
さらに別の展開例によると、動作中にロボットが通るロボット経路、およびツール中央点の経路を付加的な情報とともに、好ましくはロボットと関連付けて、より正確には現実のハンドフランジまたはツールのＴＣＰの画像と関連させてフェードインすることができる。プロセスのプログラミングまたは操作は手動プログラム機上でオペレータによって行なわれるが、これによって、ロボットに関連して表示されるハンドフランジまたはツールのＴＣＰを通って延在する視覚化されたロボット経路の表示に空間において変更が行なわれる。具体的には、これは、経路点がフェードインされ、空間での経路点の位置が可変であり、すべての経路点の位置に対応するロボット経路の湾曲がフェードインされることで行なわれる。
【００３７】
空間的な経路パターンに加え、付加的な動きのパラメータ（たとえば、スピード、加速度等）または空間的な関数（たとえば、経路切換関数、入出力の設定／読取、加工プロセスの開始／停止等）を視覚化してもよい。この情報はテキストの形で視覚化してもよいし、図形または動画によって視覚化してもよい。
【００３８】
定められた現実の工作物の位置にロボット経路を適合するためのさらに別の実施例によると、工作物の仮想の画像がそれに適合されたロボット経路とともにフェードインされるため、仮想の工作物の画像およびロボットの経路点を現実の工作物の画像と重ね合わせることによって、実行されるロボット経路を現実の工作物の位置に適合することが可能にな
る。
【００３９】
この発明の別の好ましい展開例によると、ロボットによって到達可能な総動作領域および／または許可される動作領域および／または許可されない動作領域がディスプレイに視覚化され、および／またはロボットツール、ロボットハンドおよび／またはさらに別のロボット要素の動きの通路がディスプレイに視覚化される。「総動作領域」は、ＴＣＰによって仮定することのできるすべてのポーズの総数を示す。「動作領域」はプログラム機によって無作為に固定することができる。
【００４０】
たとえば、ある施設内で相互に作用する複数のロボットの場合、少なくとも１つのロボットの少なくとも１つの手動のプログラム機の永久的および／または瞬間的な関連付けを視覚化することもできる。
【００４１】
ロボットシステムと手動プログラム機との間の関連付けに類似の態様で、ＡＲを介してロボットシステムの現在の状態を視覚化し、必要であれば修正することも可能である。視覚化される状態の例は、選択された動作モード、ドライブの状態（オンまたはオフ）等である。
【００４２】
上述の好ましい実施例のすべてに共通するのは、コンピュータによって生成された情報がユーザに対して常に視覚化されるか、またはユーザによって要求されたときに（たとえば、許可キーが押されない場合の置換キーの操作の場合における手動の置換とともに）視覚化されることである。別の代替例によると、情報は予め定められた時間に自動的にフェードインされる（たとえば、現実のロボットシステムが動きを開始する直前）。
【００４３】
上述の４つの使用分野において、ＡＲシステムは、連続する画像シーケンスまたはオペレータによって開始される個々の「スナップショット」を供給することができる。対応して、情報は画像シーケンスにオンラインでフェードインされるか、またはオフラインで記録された個々の画像にフェードインされる。
【００４４】
視覚化はオフに切換えることもできる。連続する画像シーケンスの場合、任意で画像を静止させることもできる。
【００４５】
生成された対象物の視覚化の、現実との近さの程度は無作為であってもよい。視覚化は、工場のユーザの視覚を損なわないために半透過的な態様またはエッジモデルとして行なってもよい。
【００４６】
この発明のさらに別の利点および特徴は、特許請求の範囲、以下のこの発明の実施例の説明ならびに添付の図面から理解できるであろう。
【発明を実施するための最良の形態】
【００４７】
発明の詳細な説明
図１ａおよび図１ｂは、コンピュータによって生成された情報をディスプレイ上で現実環境の画像へとフェードインするためのこの発明の装置１の第１の実施例である。
【００４８】
この発明による装置１は、ロボットの動作シーケンスを快適にプログラムすることのできるロボットのための手動プログラム機２を有する。このため、手動プログラム機２には、６つの置換キー２．１および６Ｄマウス２．２の形の制御または動作要素が設けられ、これによってロボットの６軸の動きをキー２．１によるのと同じように制御することができる。そのような手動プログラム機は、ＥＰ  ８４０  ９１０（ＵＳ  ６，１３４，１０２に対応する）またはＥＰ  ８４０  ９０９（ＵＳ  ６，３６２，８１３に対応する）か
ら知られており、そのような手動プログラム機の開示に関してそれらを参照する。手動プログラム２はスクリーン２．３も有し、ロボットの動きのための動きのシーケンスに関するさまざまなパラメータなどの情報および制御プログラムのデータが表示される。たとえば、図示されない物理的なキーによって入力することが可能であり、またはスクリーン２．３をタッチスクリーンとして構成し、入力キーをスクリーン２．３に重ねることも可能である。
【００４９】
図１ａおよび図１ｂによる実施例では、スクリーン２．３とは別に、この発明の装置は付加的な視覚装置１．１を有するが、これは物理的に手動プログラム機２に接続され、たとえば、そこに装着されて旋回可能であってもよい。図示の実施例では、視覚装置１．１の後ろにカメラの形の画像受取装置１．２が設けられ、現実環境を記録することができる。この記録の結果として、たとえば、空間に位置付けられるマーキングによって、画像受取装置１．２のポーズと称される、空間における位置および方向付けを数学的に判定することができる。またはこれに代えて、画像受取装置１．２のポーズは、それによって記録された実際の画像を記憶された基準の画像と比較することによって、または付加的なセンサシステムを使用することによって得られる。
【００５０】
たとえば、図７から１７の装置１．１の図に示されるように、視覚装置１．１には、一方で、カメラ１．２によって記録された現実環境の画像が示される。他方で、ロボット特有のコンピュータによって生成された情報も前記画像にフェードインされる。
【００５１】
従来の表示可能なスクリーンの形の視覚装置１．１の代わりに、前記装置は透明なスクリーンであってもよく、任意で画像化光学機器によって現実環境の画像を光電子工学的な変換なしに前記視覚装置１．１に示し、目に見えるようにすることができる。そのような場合、ポーズの判定は、たとえば、空間に無線マーキングを設け、これらに対して、少なくとも視覚装置１．１に接続されるレシーバによってポーズを判定できるようにして、技術的に行なってもよい。
【００５２】
視覚装置１．１は、図３による空間的な構成の場合のように、手動プログラム機２から空間的に離れていてもよい。
【００５３】
たとえば、図１ａおよび図１ｂの場合の視覚装置１．１としての別個のスクリーンの代わりに、現実環境の画像をロボット特有のコンピュータによって生成された情報とともに示す視覚装置１．１は、図２ａおよび図２ｂの場合のように、たとえば、手動プログラム機２のスクリーンディスプレイ２．３内にあるスクリーンウィンドウとして手動プログラム機２に組込んでもよい。
【００５４】
そのような場合、現実環境を記録するためのカメラ１．２は、特に図２から明らかであるように、手動プログラム機２に直接位置付けられる。それは、特に適切な記録場所にユーザがアクセスできないかまたは容易にアクセスできない場合、視覚装置１．１から完全に離してもよい。
【００５５】
それ以外は、図２ａおよび図２ｂの構成は、特に手動プログラム機２に関して、図１ａおよび図１ｂの構成に対応する。
【００５６】
図３は、眼鏡の形の視覚装置１．１を備えたこの発明による装置を示し、ユーザ４はレンズ１．３（シースルーの眼鏡）を通して現実環境を直接見ることができ、レンズ１．３はロボット特有のコンピュータによって生成された情報を重ねることができる透明なスクリーンとして構成されている。このため、視覚装置１．１はケーブル１．４によって手動プログラム機２に接続されているが、これはワイヤレス伝送、特に無線伝送によって置換
えることができ、赤外線伝送によっても置換えることができる。視覚装置１．１にはカメラ１．２が設けられ、空間における対応する光学的なマーキングを使用しかつカメラによって視覚装置１．１のポーズを規定することができる。これに加えてまたはこれに代えて、視覚装置１．１または画像受取装置１．２のポーズは、カメラ画像を記憶された画像と比較することによって得られる。根本的に、電磁気的、光学的または聴覚的なセンサシステムを設けることも可能であり、これらによって空間内の対応するマーキングトランスミッタに対する画像受取装置または視覚装置のポーズを上述の態様で規定することができる。
【００５７】
この発明によって、ロボット自身、経路パターン、工作物等の仮想のまたは増補されたロボット特有の空間対象物を操作することでロボット特有のデータを操作することが可能なる。これは図４ａから図４ｅに関して説明する。
【００５８】
空間で動かされている現実のロボットシステムのＴＣＰと同様に、置換キー／６Ｄマウスなどの手動プログラム機上の既知の制御要素は、ユーザの手４．１による操作によって、移動された空間対象物のポーズを示す、選択され増補された空間対象物ＡＲ′を移動および回転させるために使用することができる。純粋なＡＲ視覚化と比較して、関与する時間は制限される。
【００５９】
空間での入力要素の位置は、静止した受取システム３．１およびたとえば、ポインタの形の入力要素３．２を備えたセンサシステム３によって判定することができる。ユーザが入力要素３．２を動かすと、この動きは、選択され増補された対象物ＡＲ（または、任意でこれらのいくつか）に伝送される。
【００６０】
人間工学的な面を改善するため、動きは、ユーザによって予め設定された倍率に対応する大きな倍率または小さな倍率で、選択された空間対象物へと伝送することができる。入力要素の空間的な動きおよび増補された空間対象物の「結合」の生成は、ユーザ側の対応する入力を通じて行なわれる（たとえば、ユーザが入力要素上のボタンを押圧している間）。「結合」および「切り離し」を変更することで、入力要素を長い距離にわたって動かすことなく、増補された空間対象物をかなりの距離にわたって置換させることが可能である。このため「インデックス付け」が行なわれる。
【００６１】
上述の意味での入力要素は、たとえば、ポインタ、ハンドル、データグローブまたは実際の手動プログラム機である。センサシステムは、電磁気的（たとえば、無線）、光学的（たとえば、赤外線）または聴覚的な（たとえば、超音波）追跡に基づいてもよい。手動プログラム機が入力要素として使用される場合、空間的なポーズを判定するために既にそこに存在する上述のシステムを空間対象物を操作するために使用してもよい。
【００６２】
またはこれに代えて、地面の代わりに携帯手動プログラム機に対して入力要素（たとえば、ポインタ）のポーズを測定し、評価することができる。上述の可能性に加え、入力要素のポーズは、接合角度集積化センサを備えた多重接合キネマティックスなどの、入力要素と手動プログラム機との間の機械的な測定システムを通じて使用することができる。
【００６３】
空間対象物は、入力要素３．１（たとえば、ポインタ、ハンドル、データグローブまたは完全な手動プログラム機）を使用して直接的に予め設定することができ、空間におけるそのポーズは対応するシステムで検出される。
【００６４】
図４ｂおよび図４ｃによる操作性の本質的な利点は、入力要素の空間的な位置付けを介して空間対象物を操作することで時間が節約され、たとえば、動きのキーまたは６Ｄマウスを使用するときなどの、スピードが制御された置換および回転を使用するときよりもユ
ーザに直感的にわかりやすいことである。
【００６５】
上述の操作性は、上述のＡＲの使用状況（ツールおよび工作物座標系の測定中の基準座標系の移動、ロボット経路の支持点の置換、動作領域の角の点または側壁の置換等）であればどのような状況でも画像化することができる。
【００６６】
図５に示されるロボット経路のＡＲに支援された修正のためのシーケンスは、まず、機械加工が完了したか否かを規定するために機械加工の状態についての呼掛け信号を用いた再プログラム選択を伴う（ステップＡ）。答が否定であれば、経路セクションを修正するかの質問が行なわれる（ステップＢ）。これが当てはまらない場合、ジャンプして戻る。経路セクションが修正される場合、プログラム内で選択された経路セクションに関する判定または計算が行われ、これはツール中央点の経路全体を含み得る（ステップＣ）。選択された経路セクションまたは経路全体が視覚装置上の現実環境の画像へと重ねられる（ステップＤ）。これに続いて、置換命令またはいくつかのそのような命令を修正するかを規定するために質問が行なわれる。これが当てはまらない場合、視覚化は終了され（ステップＤ′）、経路セクションはフェードアウトされ（ステップＤ″）、質問Ｂへ戻る。
【００６７】
置換命令またはこれらのいくつかを修正する際、任意で関連付けられる経路が判定される（ステップＦ）。選択された置換の動きのターゲットおよび任意でツール中央点の関連付けられる経路はＡＲ表示に示されて強調される（ステップＧ）。後に図１４に関して説明するように、座標系をフェードインすることで、任意で方向付けも適切に視覚化される。
【００６８】
図４ａから図４ｃに関して説明した、空間内で経路および任意でターゲットを移動させることによりユーザ側で予め設定された詳細に基づいて、修正されたターゲットおよび任意で経路が判定され（ステップＨ）、ＡＲディスプレイに視覚化されるため（ステップＩ）、ターゲットの位置および任意でＡＲディスプレイ内での経路をチェックすることができる。任意で、ロボット制御のソフトウェアはターゲットにロボットが到達し得るかをチェックし、任意で警告メッセージを生成する。
【００６９】
ステップＨおよびステップＩに従って所望のターゲットおよび任意で経路を計算しかつ表示した後、所望のターゲットおよび任意で所望の経路パターンに到達しているかについての質問が行なわれる（ステップＪ）。これが当てはまらない場合、別のターゲットおよび任意で経路パターンの判定および視覚化が繰返され、ステップＨおよびステップＩが繰返される。所望のターゲットに到達している場合、ターゲットおよび関連付けられる動きの命令の固定が行なわれる（ステップＫ）。
【００７０】
次に、別の置換命令を修正すべきかについての質問Ｅに戻る。これが当てはまる場合、その別の置換命令についてステップＦからＫが再び行なわれ、これが当てはまらない場合、ステップＥ′、Ｅ″に関して説明したように、さらに別の経路セクションを修正すべきかについての質問に戻る（ステップＢ）。これが当てはまらない場合、既に説明したように、機械加工の状態についての質問に戻り、さらに機械加工が行なわれない場合、プログラムの選択が解除され、プログラムが終了する（ステップＬ）。
【００７１】
置換の動きのさらに別のターゲットの挿入が対応して行なわれ、入力されるかまたはプログラムの部分上の開始位置は自動的に提案され、先行する動きのターゲット位置がそこに存在してもよい。
【００７２】
表現されるプログラムのシーケンスは、たとえば、プログラムを開いた後にロボットの経路を自動的に直接フェードインし、および／またはあり得るロボット経路の選択を自動
的に視覚化することで、さらに自動化および簡略化することができる。ユーザは、手動プログラム機のプログラム調査の中でプログラムにマーキングする際にプレビューの種類の強化現実で対応するロボットの経路を任意で観察することができる。
【００７３】
図６から図６ｂは、ロボット特有のコンピュータによって生成された情報を現実環境の画像へとフェードインするためのこの発明の装置の構造を示し、この発明によるシーケンスはここから容易に理解できる。
【００７４】
この発明の装置１は、ロボット特有のコンピュータによって生成された情報を視覚装置１．１に表示するために処理するための処理ユニット５を有する。図４の破線で示されるように、処理ユニット５にはカメラ１．２を接続してもよく、これは現実環境の画像を記憶し、処理ユニット５に供給する。処理ユニット５内には、画像生成ユニット５．１があり、カメラ１．２に従って視覚装置１．２のポーズを評価し、カメラ画像をロボット特有のコンピュータによって生成された情報と混合するため、現実画像と表示されるべき情報とが視覚装置１．１上にともに表示される。
【００７５】
このため、処理ユニット５は操作ユニット５．２を有し、ロボット制御６は、少なくとも１つのロボットを制御しかつそこからロボット特有の情報を入手するためのデータインターフェイスを有し、ロボット特有の情報は現実環境の画像とともに視覚装置１．１上に表示される。処理ユニット５は、たとえば、ロボットのための手動プログラム機などの、人間のユーザによってロボット特有の情報を空間的に操作できるようにする入力装置のためのインターフェイスを組込んでもよい。この発明による装置によって、ロボット特有の情報は、任意でユーザの入力を考慮しつつ強化現実モデルで使用することができ、強化現実モデルは画像生成ユニット５．１によってさらに処理して視覚装置１．１上に増補された画像を表示する。任意のユーザの入力によるロボットデータの変更は、モデル操作ユニット５．２によってロボット制御６へと戻すことができる。ＡＲデータの空間的操作のためのユーザ入力は５．３と表わされる。
【００７６】
処理ユニット５は、視覚装置１．１、手動プログラム機２またはロボット制御６に組込んでもよい。それは根本的にそれ自身の物理的なユニットを形成してもよい。処理ユニット５は、たとえば、画像生成ユニット５．１が視覚装置１．１または手動プログラム機２にあり、モデル操作ユニット５．２をロボット制御６に収納できるようにして、空間的にさらに分割してもよい。処理ユニット５またはその部分は、異なるロボットのための中央システムに組合わせてもよく、任意で通信経路はインターネットを経由してもよい。
【００７７】
図６は基本的な事例を示し、図６ａおよび図６ｂの携帯型または眼鏡状の視覚装置の特別な事例はそこから派生したものである。一般的なアーキテクチャは、後に説明する２つの具体的なアーキテクチャの共通点を表わす。
【００７８】
図６ａによる構成では、視覚装置１．１は、図１ａ、１ｂ、２ａおよび２ｂによる手動プログラム機２に接続されるか、または組込まれる。それには、カメラ１．２および入力要素２．１、２．２（キー、６Ｄマウス）が設けられる。カメラ１．２は上述の態様でその位置を判定することができ、したがって、視覚装置１．１の位置を判定することができ、入力要素２．１、２．２によってロボットデータを操作するための入力を人間のユーザによって入力することができる。これ以外は、図５による構成は図４の構成に対応する。
【００７９】
図６は、図２のこの発明の装置に関するブロック図である。視覚装置１．１は強化現実眼鏡に組込まれ、これはカメラ１．２を備えてもよい。眼鏡は、カメラ画像を経由してではなく現実世界を直接認識することができ、かつコンピュータによって生成された情報のみがフェードインされるシースルーの種類のものであってもよい。たとえば、入力キー２
．１および／または６Ｄマウス２．２を備えた手動プログラム機２などの空間的入力要素とは別に、空間的視覚装置１．１が物理的に離れた形で設けられる。これ以外は、図６のブロック図は図４に対応する。
【００８０】
手動プログラム機２の形の入力装置は、それが視覚装置１．１として働く程度で、異なる構成、たとえば、異なる入力装置として設けてもよく、異なる視覚装置を設けてもよい。特に後者についてはこれに関して既に説明した。
【００８１】
図７ａから図７ｃは、現実環境の領域とともに視覚装置１．１上のあり得る表現を示し、たとえば、ロボット７またはそれによって機械加工される工作物８などの現実環境の領域およびロボット特有のコンピュータによって生成された情報が現実環境のこの画像にフェードインされ、そこに接続される。溶接トングなどのツール７．１を備えた現実のロボット７の画像を用いて、それに関連付けられる座標系、たとえば、座標Ｘ＋、Ｙ＋、Ｚ＋を備え静止した世界座標系Ｋ１などを生成することが可能である。座標系Ｋ＋は、置換された座標Ｘ′＋、Ｙ′＋、Ｘ′＋を備えたＴＣＰへと平行に置換された世界座標系である。世界座標系Ｋ１の原点は、ロボット７のベース７ａの対称軸と背景との交点にあり、座標系Ｋ２の原点はハンドフランジの中央にあり、またはツールが存在するときは、ツール中央点へと置換される。座標系を表現することによって、特にプログラム機上の置換キーによって手動でロボットにデカルトの動きをさせる際の支援が得られる（図７ａ）。
【００８２】
図７ａの黒の矢印Ｖは、ロボットの動く準備ができていない限り、動く準備ができた場合の動きの方向およびスピードをその方向および長さで視覚化する。ロボットが動くと、矢印Ｖはロボットシステムの実際の動きの方向およびスピードを視覚化する。
【００８３】
ロボットプログラムの準備、適合またはテストを容易にするため、機械加工される工作物８を現実のロボット７の画像と関連付けてコンピュータによって生成された態様で視覚化してもよい。シミュレーションされる構成要素８′は、ロボットプログラムの準備、適合およびテスト中に基準を形成する。シミュレーションされる構成要素８′の使用は、現実の構成要素８が嵩張るかまたは工場内でのユーザ４の自由な動きを妨げる場合にも有利である（図７ｂ）。
【００８４】
図７ｃは、手動でのデカルトの動きにおけるＡＲ支援としての、座標Ｘ3+、Ｙ3+、Ｚ3+を備えたツール座標系Ｋ３のフェードインの図である。
【００８５】
ツールまたは工作物は基準座標系を操作することによって測定可能である。シーケンスは、図５に関して説明したように経路の動きのターゲットの操作と類似である。基準座標系は、工作物に対して（基本座標系を測定するとき）またはツールに対して（ツール座標系を測定するとき）所望の位置になるまでユーザの視覚的な制御の下で空間内で移動され、回転される。
【００８６】
ロボット経路がプログラムされるかまたは修正される場合でかつ実際の工作物が利用できない場合、この発明によると、この代わりに増補された工作物を用いて動作することが可能である。ユーザは、実際の工作物ではなく、増補された工作物上でロボットを手動で動かすことで点を教示する。工作物が存在するときと同じ態様で、存在しない工場の構成要素を増補し、たとえば、ロボット経路を固定して前記工場の構成要素の設置後に衝突が起きないようにすることが可能である。ほぼ増補された対象物のみがフェードインされる空間での手動によるロボットの動きは単純である。なぜなら、現実の対象物とのロボットの衝突を考慮する必要がなく、ユーザは空間内で妨げられることなく動くことができるためである。ここでの増補された対象物は静的な性質のものである。
【００８７】
現実の工作物が存在しない場合、ＡＲによる工作物の視覚化は、ロボットのどの動きの命令がある特定の機械加工プロセスに属するかについての価値のある付加的な情報をユーザに与えられる可能性がある（おそらく非常に複雑なロボット経路が視覚化され、調査が困難である）。
【００８８】
増補された工作物の視覚化によって、ユーザには、ロボットが開始しようとしている工作物が明らかになる。ロボットが異なるプログラムを用いていくつかの工作物を機械加工する場合、現実の工作物と増補された工作物とを比較することによって、ユーザは正しい機械加工プログラムの選択を単純に検証することができる（これに関しては、図１３の説明を参照）。
【００８９】
増補された工作物は、ロボットがどの点に工作物があると仮定しているかをユーザに示す。ロボットプログラム経路が現実の工作物の位置に対応しない場合（たとえば、位置的な許容差のため）、ユーザは、現実の工作物と一致するまで増補された工作物を関連付けられるロボットプログラム経路点とともに移動および回転させて、ロボットプログラムを訂正することができる。操作は上述の態様で行なうことができる。
【００９０】
記載される最後の３つの適用例では、ＡＲによる工作物の視覚化は、ロボットプログラムの増補された経路パターンに対する付加的な情報を提示する。工作物の増補はロボット経路に依存する（その位置は、たとえば、対応する工作物の座標系の移動によって変化する）。結果として、これは動的な、操作可能なロボット特有の情報を提示する。
【００９１】
特にプログラム機上の動きのキーを用いた手動によるロボットの軸に特有の動きの支援に対して、さらに座標系の代わりにロボットの軸Ａ１からＡ６を表示することができる。すなわち、それらは画像内の実際の軸に一致するように現実のロボット７の画像にフェードインされる。さらに、対応する軸のまわりの正および負の回転の方向を表示してもよい（図８）。軸の視覚化は、単一接合構成の近くにいるユーザに対して１つまたは複数の軸がそれらの最大の加速度またはスピードの限界に達することを示すことで手動でのデカルトの動きに役立つ可能性がある。
【００９２】
さらに、特に３Ｄマウス２．２による手動の動きは、これをロボット７のハンドフランジ７ｂまたはＴＣＰの直接上流に仮想的な３Ｄマウス２．２′としてその画像にフェードインすることで容易にすることができる。さらに、ユーザの仮想の手４．１ａをフェードインすることも可能である（図９）。
【００９３】
図１０は、コンピュータによって生成されたさらに別の位置７′および異なる位置にあるロッカー、ロボットアームおよびロボットハンドなどのロボットの部品とともに現実のロボット７の画像を示し、総動作領域等が示され、これによって、ロボットの動作シーケンスのプログラミングが容易になり得る。なぜなら、経路点の教示およびロボットのプログラムされた経路のチェックのために動く必要がなく、時間が節約され、負傷および損傷の危険が低減されるためである。
【００９４】
現実のロボット７の画像およびその通過するハンドフランジ７ｂまたはＴＣＰとともに、コンピュータによって生成されたロボットの動作経路をフェードインすることも可能であり、任意で具体的に英数字で示された経路の点Ｐ１からＰ６、および、たとえば、２点間の領域などのある領域での経路のスピード、ならびに経路点Ｐ４およびＰ５でのグリップの開放および閉鎖（開放されたグリップ、閉鎖されたグリップ）などの英数字の機能的な詳細とともにフェードインすることも可能である（図１１）。
【００９５】
英数字の情報に加え、記号または特定の経路点でのツールの方向付けを視覚化すること
も可能である。
【００９６】
既存のロボットプログラムの適合のために、経路点は、図１２に示される態様で、直接的に、個々にまたはグループで置換および回転させることができる。図５に関して説明したように、新しい経路点または完全な新しいプログラムもしくは経路シーケンスの設置を直接的に視覚化することも可能である。
【００９７】
さらに別の展開例によると、現実の構成要素８の画像とともにコンピュータによって生成された構成要素８′を視覚化することも可能である（図１３）。構成要素の位置に相違がある場合、増補された工作物８′が現実の工作物８と一致するようにするまで増補された工作物８′をそれに関係するロボットの経路点または経路とともに置換および回転させることで、ロボットプログラム内の経路点のグループの位置を訂正することができる。
【００９８】
いくつかのロボットを含む現実の工場の動作領域を視覚化しかつ双方向に適合することも可能である。図１４は、コンピュータによって生成された総動作領域７．１′、７．２′、７．３′とともに３つの協働するロボット７．１、７．２、７．３の現実の画像を示す。ロボットシステムの到達可能な総動作領域を視覚化することは、非常に隣接して配置されたロボットシステムの衝突の可能性のあるゾーンを検出するのに有利であり得る。ロボット経路の直接的な適用または適合は、到達可能な動作領域の視覚化によって結果的に効率よく支援される。
【００９９】
ロボットが貫通してはならないかまたは離れてはならない領域を視覚化および適合することも可能である。これらはいくつかのロボットシステムまたはその他の工場の構成要素によって共同で使用される動作領域であり得るため、それらの使用を管理してもよい。ロボットシステムを手動による案内で動作する場合に使用される仮想の固定は、容易に固定し、視覚化しかつ適合することができる。動作領域の種類は、プログラム機によって定義するか、または対応するソフトウェアによって自動的に固定することができる。規定された動作領域は、ロボット構造の規定された点に関係し、ロボットまたはその部分のＴＣＰまたはこれに代えて外形に関係することが好ましい。
【０１００】
動作領域の視覚化は、たとえば、その動作領域に対応する同じサイズおよび幾何学的構造のボディをフェードインすることによって行なうことができる（図１５）。仮想の固定または案内通路の視覚化も類似の態様で行なうことができ、図１６に示されるように、３次元、２次元または１次元のボディを使用することができる。またはこれに代えて、ガイドレール、接合機構等の視覚化など、対応する動きの可能性の制限を組込んだ相当する機械的構造を視覚化することも有利である。
【０１０１】
視覚化された動作領域を適合するために、空間において角または補助的な点を個々に訂正することができる。またはこれに代えて、図４ａから図４ｃに関して説明したように、動作領域の横方向の面を個々に置換および回転させて動作領域を適合することも可能である。
【０１０２】
動作領域および仮想の固定のこの発明によるＡＲ視覚化は、図１５および１６に示されるように、たとえば、許可された動作体積および許可されない動作体積をフェードインすることによって、ユーザが動作領域および仮想の固定を固定するのを支援する。プログラミング中、たとえば、手動プログラム機上の入力要素を用いて角の点を「移動させる」ことによって、動作領域または仮想の固定を操作することができる。
【０１０３】
１つの手動プログラム機を用いていくつかのロボットを連続してプログラムする場合、たとえば、矢印等の図形要素によって、プログラム機の関連付けられるロボットに印を付
けることができる（図１７）。異なるロボットが手動プログラム機によって連続してまたは同時に制御される場合も、これが当てはまる。ここでも、現在手動プログラム機に関連付けられているロボットがユーザに視覚的に明示されて有利である。さらに、ユーザがフェードインされた仮想の入力要素に接触することで、ロボットシステムの選択および選択の解除をすることができる。または、プログラム機は対応するロボットを用いて方向付けられる。ロボットの基本的な選択性またはその使用性の欠如は、たとえば、ある所与の手動プログラム機によって制御することのできるロボットのグループにそのロボットが属していない場合、対応するマーキングまたは名称によって現実のロボットの画像上でユーザに対して直接的に示すことができる。選択された動作モード、ドライブの状態（オン、オフ）等のロボットシステムの実際の状態を視覚化し、必要であれば修正することも可能である。
【図面の簡単な説明】
【０１０４】
【図１ａ】コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第１の実施例の平面図である。
【図１ｂ】コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第１の実施例の側面図である。
【図２ａ】この発明の装置の別の実施例の平面図である。
【図２ｂ】この発明の装置の別の実施例の側面図である。
【図３】この発明の装置の別の実施例の図である。
【図４ａ】この発明によって可能となる増補された空間的な対象物の操作の図である。
【図４ｂ】この発明によって可能となる増補された空間的な対象物の操作の図である。
【図４ｃ】この発明によって可能となる増補された空間的な対象物の操作の図である。
【図５】例示的な態様でのロボット経路のＡＲに支援された修正のフロー図である。
【図６】この発明による装置のブロック図である。
【図６ａ】図２ａの実施例に対応するこの発明による装置のブロック図である。
【図６ｂ】図３の実施例に対応するこの発明による装置のブロック図である。
【図７ａ】手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
【図７ｂ】手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
【図７ｃ】手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。
【図８】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図９】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１０】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１１】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１２】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１３】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１４】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１５】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１６】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【図１７】現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。
【符号の説明】
【０１０５】
１  装置、１．１  視覚装置、１．２  カメラ、１．３  眼鏡のレンズ、１．４  ケーブル、２  手動プログラム機、２．１  動きのキー、２．２  ６Ｄマウス、２．３  スクリーン、３  センサシステム、３．１  静止した受取システム、３．２  入力要素、４  ユーザ、４．１，４．１′  手、４．１ａ  仮想の手、５  処理ユニット、５．１  画像生成ユニット、５．２  操作ユニット、６  ロボット制御、７  ロボット、７′  さらに別の位置、７．１〜７．３  協働ロボット、７．１′〜７．３′  動作領域、７ａ  ベース、７ｂ  ハンドフランジ、８  工作物、８′  シミュレーションされる工作物、Ｐ１〜Ｐ６  経路点、ＡＯ，ＡＯ′  増補された空間対象物。
【図５】
2004243516.tif 000003
【図６】
2004243516.tif 000004
【図６ａ】
2004243516.tif 000005
【図６ｂ】
2004243516.tif 000006
【図７ａ】
2004243516.tif 000007
【図７ｂ】
2004243516.tif 000008
【図７ｃ】
2004243516.tif 000009
【図８】
2004243516.tif 000010
【図９】
2004243516.tif 000011
【図１０】
2004243516.tif 000012
【図１１】
2004243516.tif 000013
【図１２】
2004243516.tif 000014
【図１３】
2004243516.tif 000015
【図１４】
2004243516.tif 000016
【図１５】
2004243516.tif 000017
【図１６】
2004243516.tif 000018
【図１７】
2004243516.tif 000019
【図１ａ】
2004243516.tif 000020
【図１ｂ】
2004243516.tif 000021
【図２ａ】
2004243516.tif 000022
【図２ｂ】
2004243516.tif 000023
【図３】
2004243516.tif 000024
【図４ａ】
2004243516.tif 000025
【図４ｂ】
2004243516.tif 000026
【図４ｃ】
2004243516.tif 000027
【外国語明細書】
2004243516.tif 000028
2004243516.tif 000029
2004243516.tif 000030
2004243516.tif 000031
2004243516.tif 000032
2004243516.tif 000033
2004243516.tif 000034
2004243516.tif 000035
2004243516.tif 000036
2004243516.tif 000037
2004243516.tif 000038
2004243516.tif 000039
2004243516.tif 000040
2004243516.tif 000041
2004243516.tif 000042
2004243516.tif 000043
2004243516.tif 000044
2004243516.tif 000045
2004243516.tif 000046
2004243516.tif 000047
2004243516.tif 000048
2004243516.tif 000049
2004243516.tif 000050
2004243516.tif 000051
2004243516.tif 000052
2004243516.tif 000053
2004243516.tif 000054
2004243516.tif 000055
2004243516.tif 000056
2004243516.tif 000057
2004243516.tif 000058
2004243516.tif 000059
2004243516.tif 000060
2004243516.tif 000061
2004243516.tif 000062
2004243516.tif 000063
2004243516.tif 000064
2004243516.tif 000065
2004243516.tif 000066
2004243516.tif 000067
2004243516.tif 000068
2004243516.tif 000069
2004243516.tif 000070
2004243516.tif 000071
2004243516.tif 000072
2004243516.tif 000073
2004243516.tif 000074
2004243516.tif 000075
2004243516.tif 000076
2004243516.tif 000077
2004243516.tif 000078
2004243516.tif 000079
2004243516.tif 000080
2004243516.tif 000081
2004243516.tif 000082
2004243516.tif 000083
2004243516.tif 000084
2004243516.tif 000085
2004243516.tif 000086
2004243516.tif 000087
2004243516.tif 000088