(57)【要約】【課題】組立作業の教示に好適な視覚情報を効果的に作業者に提示し、教示作業の高速化と簡易化を実現できるロボットの教示装置を提供すること。【解決手段】画像データを取り込む画像入力手段２と、画像入力手段２の姿勢を変化させる姿勢変化手段３と、画像入力手段２によって取り込まれた画像データを表示する画像表示手段４と、画像表示手段４に表示される画像上の任意の個所を指定できる画像位置指定手段５と、画像位置指定手段５により指定された画像データを記憶する画像記憶手段６と、指定された画像データの中心位置の画像表示手段４に対する初期位置を記憶する初期位置記憶手段７と、教示作業中、画像位置指定手段５によって指定された範囲の画像が常に初期位置記憶手段７に記憶された初期位置にあるように画像記憶手段６の出力と画像入力手段２との出力から姿勢変化手段３を制御する制御手段８とを設けた。【選択図】　　図１
2004009209.tif 000002
【特許請求の範囲】
【請求項１】
ロボットの教示装置において、
画像データを取り込む画像入力手段と、
前記画像入力手段の姿勢を変化させる姿勢変化手段と、
前記画像入力手段によって取り込まれた前記画像データを表示する画像表示手段と、
前記画像表示手段に表示される画像上の任意の個所を指定できる画像位置指定手段と、
前記画像位置指定手段により指定された画像データを記憶する画像記憶手段と、
前記指定された画像データの中心位置の前記画像表示手段に対する初期位置を記憶する初期位置記憶手段と、
教示作業中、前記画像位置指定手段によって指定された範囲の画像が常に前記初期位置記憶手段に記憶された初期位置にあるように前記画像記憶手段の出力と前記画像入力手段との出力から前記姿勢変化手段を制御する制御手段と
を有することを特徴とするロボットの教示装置。
【請求項２】
前記画像入力手段と前記姿勢変化手段は、教示装置本体から取り外し可能で、任意の場所に配置可能なことを特徴とする請求項１記載のロボットの教示装置。
【請求項３】
前記画像入力手段は、照明手段を有することを特徴とする請求項１記載のロボットの教示装置。
【請求項４】
前記制御手段は、前記画像記憶手段に記憶された画像データに対応した画像データを前記画像入力手段から抽出し、その中心位置を出力する特徴位置抽出手段と、前記特徴位置抽出手段の出力と前記初期位置記憶手段の出力の差から、前記姿勢変化手段の動作量を算出する姿勢変化量演算手段とを有することを特徴とする請求項１記載のロボットの教示装置。
【請求項５】
前記画像表示手段は、前記画像位置指定手段を用いて任意の２点を指定することにより、前記指定された２点からなる基線を前記画像表示手段上に描画することを特徴とする請求項１記載のロボットの教示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ティーチングプレイバック型のロボットの教示に好適なロボットの教示装置に関する。
【０００２】
【従来の技術】
一般に、ティーチングプレイバック（教示再生方式）型のロボットを教示する方法として、ＣＡＤデータを用いてオフラインで軌道ポイントを教示する方法や、直接ロボットの先端を操作して教示するダイレクトティーチ等があった。また、カメラを用いて教示作業の簡素化を目的とした発明も最近なされている。その中において、特開平７−３０８８７８号公報では、ロボットに設置されたビデオカメラによりワークの平面像が撮像されると、その平面像がディスプレイに表示され、作業者がタッチパネルセンサに対し、指もしくは入カペンを用いて任意の箇所を指定すると、指定された箇所の座標が塗装ガンの作業軌跡を示すデータとして制御装置に取り込まれ、ロボットの教示データに変換して記憶される教示装置が示されている。以下、簡単に図面を用いて説明する。
【０００３】
図１０は、前記従来のロボットの教示装置の基本構成を示す全体図、図１１と図１２はその動作を示す図である。図１０において、Ｓｌは作業を行う多関節型のロボット本体であり、アームＳｌａを備えている。アームＳ１ａの前方の所定の位置には、上部に金網Ｓ２が設けられた支持台Ｓ３が設置されており、この支持台Ｓ３上には塗装の対象であるワークＳ４，Ｓ４，…が搭載されている。また、アームＳ１ａの先端には作業具である塗装ガンＳ５が固定されている。塗装ガンＳ５は、所定範囲を移動することによりワークＳ４，Ｓ４，…に塗装を行う。さらに、塗装ガンＳ５の近傍にはビデオカメラＳ６が設けられており、ワークＳ４，Ｓ４，…の形状および配置の画像データを取り込む。また、Ｓ７はロボット本体Ｓｌの動作の制御を行う制御装置であり、作業者が動作を指示するための操作盤Ｓ８が設けられている。さらに、Ｓ９はロボット本体Ｓｌの教示を行う教示装置であり、ディスプレイＳ１０を有する。このディスプレイＳ１０は、教示装置Ｓ９による各種データ、および前記ビデオカメラＳ６によって取り込まれた画像データを表示する。この取り込まれた画像データは、図１１のようになる。ディスプレイＳ１０には、タッチパネルセンサＳ１１が設けられており、作業者が指もしくは入カペンによりディスプレイＳ１０に触れるとその触れた部分の座標を検出する。さらに、ディスプレイＳ１０は、タッチパネルセンサＳ１１の検出した座標に基づき、作業者の触れた部分を表示し、作業者の指示した位置に基づき教示装置Ｓ９により、軌道の教示データを図１２のように生成する。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来のロボットの教示装置を、ギヤ部品の組立作業や複雑な形状をした部品の組立作業の教示に適用しようとした場合、教示作業中に作業者が任意の視点からの画像情報を得ることができないため、組立部品相互の位置関係を把握することが難しく、作業時間の増大をもたらし、熟練を要していた。
【０００５】
したがって、この発明の目的は、組立作業の教示に好適な視覚情報を効果的に作業者に提示し、教示作業の高速化と簡易化を実現できるロボットの教示装置を提供することである。
【０００６】
【課題を解決ずるための手段】
前記課題を解決するため、請求項１記載のロボットの教示装置は、画像データを取り込む画像入力手段と、前記画像入力手段の姿勢を変化させる姿勢変化手段と、前記画像入力手段によって取り込まれた前記画像データを表示する画像表示手段と、前記画像表示手段に表示される画像上の任意の個所を指定できる画像位置指定手段と、前記画像位置指定手段により指定された画像データを記憶する画像記憶手段と、前記指定された画像データの中心位置の前記画像表示手段に対する初期位置を記憶する初期位置記憶手段と、教示作業中、前記画像位置指定手段によって指定された範囲の画像が常に前記初期位置記憶手段に記憶された初期位置にあるように前記画像記憶手段の出力と前記画像入力手段との出力から前記姿勢変化手段を制御する制御手段とを有することを特徴とするロボットの教示装置である。
【０００７】
請求項１記載のロボットの教示装置によれば、教示作業中、作業者が任意の視点からの画像データを観察しながら教示できるため、部品相互の位置関係の把握が容易となり教示作業の高速化が実現できる。
【０００８】
請求項２記載のロボットの教示装置は、前記画像入力手段と前記姿勢変化手段が、教示装置本体から取り外し可能で、任意の場所に配置可能なことを特徴とする請求項１記載のロボットの教示装置である。
【０００９】
請求項２記載のロボットの教示装置によれば、作業開始前に作業に好適な位置に作業視点を設置することが可能なため、作業時間の高速化と作業者の安全確保に寄与できる。
【００１０】
請求項３記載のロボットの教示装置は、前記画像入力手段が、照明手段を有することを特徴とする請求項１記載のロボットの教示装置である。
【００１１】
請求項３記載のロボットの教示装置によれば、周囲環境による光の遮蔽の影響を受けることなく作業環境を照明できるため、常に作業者に明瞭な画像を表示することができ、教示作業の高速化に寄与する。
【００１２】
請求項４記載のロボットの教示装置は、前記制御手段が、前記画像記憶手段に記憶された画像データに対応した画像データを前記画像入力手段から抽出し、その中心位置を出力する特徴位置抽出手段と、前記特徴位置抽出手段の出力と前記初期位置記憶手段の出力の差から、前記姿勢変化手段の動作量を算出する姿勢変化量演算手段とを有することを特徴とする請求項１記載のロボットの教示装置である。
【００１３】
請求項４記載のロボットの教示装置によれば、画像データに基づいて画像入力手段の姿勢を変化させることができるため、作業者の手ぶれや作業対象の移動に関係なく常に作業者に好適な画像を提示できる。
【００１４】
請求項５記載のロボットの教示装置は、前記画像表示手段が、前記画像位置指定手段を用いて任意の２点を指定することにより、前記指定された２点からなる基線を前記画像表示手段上に描画することを特徴とする請求項１記載のロボットの教示装置である。
【００１５】
請求項５記載のロボットの教示装置によれば、作業者の空間イメージを容易とする補助基線の表示ができるため、空間把握能力に劣る初心者でも容易に空間イメージができ、教示作業を円滑に実施できる。
【００１６】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づいて説明する。図１は請求項１乃至５記載のロボットの教示装置の基本構成を示す図、図２は処理方法を示すブロック図である。
【００１７】
この発明の全体構成を図１に基づいて示す。１３は作業を行う多関節型のロボットで、先端で第１部品１２を把持している。作業台１４には前記第１部品１２が組み付けられる第２部品１１が設置されている。
【００１８】
作業者１０に把持された教示装置１は、前記第１部品１２と前記第２部品１１の相互の関係を示す画像データを取得するための画像入力手段２と、前記画像入力手段２の姿勢（ロール、ピッチ、ヨウ）を変化させるための姿勢変化手段３（雲台とも呼ばれている）と、前記画像入力手段２によって取得された画像データを表示するための画像表示手段４と、前記作業者１０が注視している部分画像を前記画像表示手段４上の任意の位置で指定できる例えばポインティングデバイスなどの画像位置指定手段５と、前記画像位置指定手段５によって指定された範囲の画像を記憶するための画像記憶手段６と、前記画像位置指定手段５によって指定された図３に示すような部分画像２０の中心位置の前記画像表示手段４上での初期位置を記憶する初期位置記憶手段７と、前記姿勢変化手段３の動作を制御する制御手段８とから構成される。なお、前記画像入力手段２と姿勢変化手段３は、図９に示すように教示装置１の本体から外して、作業台１４に近接して配置することが可能である。また、前記画像入力手段は、周囲環境からの光の遮蔽の影響を受けない照明手段９を有する。図１に示す前記制御手段８は、図２に示すようにＣＰＵ１５とモータドライバ１８より構成され、ＣＰＵ１５では特徴位置抽出手段１６と姿勢変化量演算手段１７が実行され、前記姿勢変化量演算手段１７は前記姿勢変化手段３の関節の動作指令量を前記モータドライバ１８に出力する。さらに前記画像表示手段４は画像上に、図４に示すように第１基線２３と第２基線２４を重ねて表示する基線表示手段１９を有している。
【００１９】
ここで、姿勢変化量演算手段１７で用いる座標系の関係を、図３と図６を用いて示す。図３に示すように画像表示手段４の中心点に画像座標系Ｉの原点があり、図６に示すように前記画像入力手段２の光軸上にカメラ座標系Ｃの原点があり、姿勢変化手段３の下部に動作座標系Ｗの原点がある。カメラ座標系Ｃを前記画像座標系Ｉから見た場合の同時変換行列をＩＴＣ、前記カメラ座標系Ｃを前記動作座標系Ｗから見た場合の同時変換行列をＷＴＣ、前記姿勢変化手段３の関節空間ｑを動作座標系Ｗから見た場合の同時変換行列をＷＴｑとすると、それぞれのヤコビ行列は、下式のとおりとなる。
【００２０】
【数１】
2004009209.tif 000003
次に、この発明の動作方法を詳細に説明する。
【００２１】
教示作業開始に当たり、作業者１０は教示装置１を把持し、画像入力手段２を第１部品１２と第２部品１１が画像表示手段４に表示される方向に向け、図３に示すように作業者１０が以後の教示作業で注視したい部分画像２０を画像位置指定手段５を操作してＰｌとＰ２を指定することによって指定する。指定された部分画像２０は画像記憶手段６に記憶される。さらに、図４に示すように、教示作業の基準となる第１基線２３と第２基線２４を画像位置指定手段５を操作して２点Ｐ３、Ｐ４とＰ５、Ｐ６の組をそれぞれ指定すると基線表示手段１９により画像表示手段４に第１基線２３と第２基線２４が表示され、第１基線２３と第２基線２４をそれぞれ中心線とする予め設定された範囲の部分画像２１と部分画像２２が画像記憶手段６に記憶される。
【００２２】
以後、作業者１０が前記ロボット１３の軌道を教示している間、前記画像入力手段２により取得された画像データが前記制御手段８に入力される。前記画像入力手段２で獲得した画像データと前記画像記憶手段６に記憶された部分画像２０が前記特徴位置抽出手段１６に入力される。前記特徴位置抽出手段１６は、図７に示す処理フローに基づいて、作業者１０が注視している部分画像２０の画像表示手段４上の位置（Ｘｉ、Ｙｉ）を出力する。さらにそのとき同時に、前記第１基線２３と前記第２基線２４表示のための前記画像表示手段４上の位置も前記部分画像２１と前記部分画像２２を前記特徴位置抽出手段１６に入力して算出し、基線表示手段１９に入力する。なお、図７に示された相関演算を用いたマッチング処理方法は公知である。図２に示すように前記位置（Ｘｉ、Ｙｉ）と前記初期位置記憶手段７に記憶された初期位置の差が前記姿勢変化量演算手段１７に入力される。前記姿勢変化量演算手段１７は、図８に示すように前記姿勢変化手段３の関節の位置情報ｑを用いて姿勢変化手段３の関節の動作指令量を前記モータドライバ１８に出力し、姿勢変化手段３を動作させ画像入力手段２の姿勢を補正し、図５に示されるように教示作業中、常に注視した部分画像２０が作業者１０に提示されるとともに、第１部品１２と第２部品１１の相対的な位置関係の把握を容易とする前記第１基線２３と前記第２基線２４が所定の位置に表示される。
【００２３】
よって本実施例のロボットの教示装置によれば、作業者１０が教示作業中、手ぶれや作業者自身の教示姿勢に変化が有っても、常に注視したい部分の画像を作業者１０に提示する。そして部品間の位置関係を示す基線を注視画像上に重ねて表示するため教示初心者でも空間把握が容易となる。さらに、作業者１０が入り込めないような峡間場所であっても前記画像入力手段２と姿勢変化手段３を取り外して、作業者１０が注視したい画像が得られる位置に配置することができるため、いかなる教示状況でも教示に好適な画像が得られる。なお、本発明は実施例に示したような機械部品の組み立てのみならず、半導体や液晶基板の搬送用ロボットの教示作業にも適用できる。特に半導体処理装置の筺体のように、外部から直接観察できないような場所にあるロボットのエンドエフェクタを正確に位置決めするような作業に適用すると有益である。
【００２４】
【発明の効果】
以上述べたように、請求項１記載のロボットの教示装置によれば、教示作業中、作業者が任意の視点からの画像データを観察しながら教示できるため、部品相互の位置関係の把握が容易となり、教示作業の高速化が実現できる。
【００２５】
請求項２記載のロボットの教示装置によれば、作業開始前に作業に好適な位置に作業視点を設置することが可能なため、作業時間の高速化と作業者の安全確保に寄与できる。
【００２６】
請求項３記載のロボットの教示装置によれば、周囲環境による光の遮蔽の影響を受けることなく作業環境を照明できるため、常に作業者に明瞭な画像を表示することができ、教示作業の高速化に寄与する。
【００２７】
請求項４記載のロボットの教示装置によれば、画像データに基づいて画像入力手段の姿勢を変化させることができるため、作業者の手ぶれや作業対象の移動に関係なく常に作業者に好適な画像を提示できる。
【００２８】
請求項５記載のロボットの教示装置によれば、作業者の空間イメージを容易とする補助基線の表示ができるため、空間把握能力に劣る初心者でも容易に空間イメージができ、教示作業を円滑に実施できる。
【図面の簡単な説明】
【図１】この発明の実施の形態の基本構成を示す図である。
【図２】この発明の実施の形態の処理方法を示すブロック図である。
【図３】この発明の実施の形態の注視点の指定方法を示す図である。
【図４】この発明の実施の形態の基線の指定方法を示す図である。
【図５】この発明の実施の形態の教示作業中の画像表示手段の表示状況を示す図である。
【図６】この発明の実施の形態の制御手段で用いる座標系の関係を示す図である。
【図７】この発明の実施の形態の特徴位置抽出手段の処理フローである。
【図８】この発明の実施の形態の姿勢変化量演算手段の処理ブロック図である。
【図９】この発明の実施の形態の画像入力手段を外した場合を示す図である。
【図１０】従来のロボットの教示装置の基本構成を示す全体図である。
【図１１】従来のロボットの教示装置の動作を示す図である。
【図１２】従来のロボットの教示装置の動作を示す図である。
【符号の説明】
１　教示装置
２　画像入力手段
３　姿勢変化手段
４　画像表示手段
５　画像位置指定手段
６　画像記憶手段
７　初期位置記憶手段
８　制御手段
９　照明手段
１０　作業者
１１　第２部品
１２　第１部品
１３　ロボット
１４　作業台
１５　ＣＰＵ
１６　特徴位置抽出手段
１７　姿勢変化量演算手段
１８　モータドライバ
１９　基線表示手段
２０　部分画像
２１　部分画像
２２　部分画像
２３　第１基線
２４　第２基線
Ｓ１　ロボット本体
Ｓ１ａ　アーム
Ｓ２　金網
Ｓ３　支持台
Ｓ４　ワーク
Ｓ５　塗装ガン
Ｓ６　ビデオカメラ
Ｓ７　制御装置
Ｓ８　操作盤
Ｓ９　教示装置
Ｓ１０　ディスプレイ
Ｓ１１　タッチパネルセンサ
ＳＬｌライン
【図１】
2004009209.tif 000004
【図２】
2004009209.tif 000005
【図３】
2004009209.tif 000006
【図４】
2004009209.tif 000007
【図５】
2004009209.tif 000008
【図６】
2004009209.tif 000009
【図７】
2004009209.tif 000010
【図８】
2004009209.tif 000011
【図９】
2004009209.tif 000012
【図１０】
2004009209.tif 000013
【図１１】
2004009209.tif 000014
【図１２】
2004009209.tif 000015