(57)【要約】【課題】作業用マーカーの設定位置がずれている場合でも、作業用マーカーのキャリブレーションを行うことができる制御装置、ロボットシステム、ロボット及びキャリブレーション方法等の提供。【解決手段】制御装置１００は、キャリブレーション用ジグ６００に設けられたキャリブレーション用マーカー６１０と、作業用ジグ７００に設けられた作業用マーカー７１０とが映る撮像画像を受け付ける撮像画像受付部１１０と、ロボット３００に、撮像画像に基づいて作業用ジグ７００を用いた作業を行わせる処理部１３０と、を含む。【選択図】  図４
2015136742.tif 000002
【特許請求の範囲】
【請求項１】
キャリブレーション用ジグに設けられたキャリブレーション用マーカーと、作業用ジグに設けられた作業用マーカーとを撮像した撮像画像を受け付ける撮像画像受付部と、
ロボットに、前記撮像画像に基づいて前記作業用ジグを用いた作業を行わせる処理部と、
を含むことを特徴とする制御装置。
【請求項２】
請求項１において、
前記処理部は、
前記撮像画像に対して画像認識処理を行って、前記作業用ジグを用いた作業の基準点、基準線及び基準面のうちの少なくとも一つである作業基準と、前記作業用マーカーとの相対位置姿勢関係を特定することを特徴とする制御装置。
【請求項３】
請求項２において、
前記撮像画像受付部は、
前記キャリブレーション用マーカー及び前記作業基準が、既知の第２の相対位置姿勢関係にある状態で、前記キャリブレーション用マーカー及び前記作業用マーカーを撮像して得られる前記撮像画像を受け付け、
前記処理部は、
前記撮像画像に基づいて、前記キャリブレーション用マーカー及び前記作業用マーカーのマーカー認識処理を行って、前記相対位置姿勢関係を特定することを特徴とする制御装置。
【請求項４】
請求項３において、
前記処理部は、
前記マーカー認識処理の結果に基づいて、前記キャリブレーション用マーカー及び前記作業用マーカーの第３の相対位置姿勢関係を特定し、前記第２の相対位置姿勢関係及び前記第３の相対位置姿勢関係に基づいて、前記相対位置姿勢関係を特定することを特徴とする制御装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記処理部は、
前記作業用マーカーのマーカー認識処理の結果及び前記相対位置姿勢関係に基づいて、ロボット座標系における前記作業基準を特定し、前記作業基準に基づいて、前記ロボットを制御することを特徴とする制御装置。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記作業用マーカーは、
作業者により前記作業用ジグに貼付されたマーカーであることを特徴とする制御装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記撮像画像受付部は、
前記キャリブレーション用ジグ及び前記作業用ジグが接触した状態で、前記キャリブレーション用マーカー及び前記作業用マーカーを撮像して得られる前記撮像画像を受け付けることを特徴とする制御装置。
【請求項８】
請求項２乃至７のいずれかにおいて、
前記キャリブレーション用マーカー及び前記作業用マーカーの少なくとも一方は、
ジグプロパティーの情報を有することを特徴とする制御装置。
【請求項９】
請求項８において、
前記処理部は、
前記キャリブレーション用マーカーのマーカー認識処理により、前記キャリブレーション用マーカーの前記ジグプロパティーを認識し、前記ジグプロパティーに基づいて、前記第２の相対位置姿勢関係を特定することを特徴とする制御装置。
【請求項１０】
キャリブレーション用マーカーが設けられたキャリブレーション用ジグと、
作業用マーカーが設けられた作業用ジグと、
前記キャリブレーション用ジグと前記作業用ジグとを撮像する撮像部と、
前記撮像部が撮像した撮像画像により、前記作業用ジグを用いた作業を行うロボットと、を含むことを特徴とするロボットシステム。
【請求項１１】
キャリブレーション用ジグに設けられたキャリブレーション用マーカーと作業用ジグに設けられた作業用マーカーとを撮像部が撮像した撮像画像により、前記作業用ジグを用いた作業を行うことを特徴とするロボット。
【請求項１２】
キャリブレーション用マーカーが設けられたキャリブレーション用ジグと、作業用マーカーが設けられた作業用ジグとが映る撮像画像を受け付けることと、
前記撮像画像に対して画像認識処理を行って、前記作業用ジグを用いた作業の基準点、基準線及び基準面のうちの少なくとも一つである作業基準と、前記作業用マーカーとの相対位置姿勢関係を特定することと、
を含むことを特徴とするキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、ロボットシステム、ロボット及びキャリブレーション方法等に関係する。
【背景技術】
【０００２】
近年、生産現場において、人が行ってきた作業を機械化・自動化するために、産業用ロボットを導入することが多くなってきた。しかし、ロボットの位置決めを行うにあたっては、事前に精密なキャリブレーションを行う必要がある。
【０００３】
このキャリブレーションを行う際には、ロボットが行う作業の基準となる点や線、面などの作業基準と、ロボットとの相対位置姿勢関係を正確に特定（補正）する手法がある。このようなキャリブレーション方法に関する発明としては、例えば特許文献１に記載される発明がある。特許文献１に記載される発明では、ロボットの軸座標原点に対し、一定の位置関係を有する個所に位置合わせマーク（マーカー）を設けるとともに、この位置合わせマークと作業基準との相対位置姿勢関係を予め設定しておく。そして、ロボットが把持する工具を位置合わせマークの位置に移動させ、その時のロボットの軸座標を読み取り、読み取り値と位置合わせマークの座標とのずれをオフセット量として取り込み、作業基準とロボットとの正確な相対位置姿勢関係を特定（補正）する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１−２３４１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような作業基準は、作業毎に異なることが通常である。そのため、前述した特許文献１において開示される発明のように、マーカーを用いて、作業基準とロボットとの正確な相対位置姿勢関係を特定する場合には、作業が変わる度に、適した位置にマーカー（位置合わせマーク）を貼付（設定）する必要がある。
【０００６】
また近年は、多品種少数の部品を生産する機会が増えてきたため、ロボットに行わせる作業が頻繁に変わることも多い。従って、作業者（教示者、ユーザー）がマーカーを決められた位置に貼付する機会も多くなる。
【０００７】
しかし、作業者（教示者、ユーザー）が決められた位置に、ずれずに正確にマーカーを貼付することは、非常に困難である。例えば、マーカーの貼付位置が５ｍｍずれたり、マーカーの貼付姿勢が１０度傾いたりするだけで、正確なキャリブレーションを行うことができなくなる。この場合には、ロボットと作業基準との相対位置姿勢関係を正確に把握することができなくなり、ロボットに正確な作業を行わせることができなくなる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、キャリブレーション用ジグに設けられたキャリブレーション用マーカーと、作業用ジグに設けられた作業用マーカーとを撮像した撮像画像を受け付ける撮像画像受付部と、ロボットに、前記撮像画像に基づいて前記作業用ジグを用いた作業を行わせる処理部と、を含む制御装置に関係する。
【０００９】
本発明の一態様では、キャリブレーション用マーカー及び作業用マーカーが映る撮像画像に基づいて、ロボットのキャリブレーションを行い、作業用ジグを用いた作業をロボットに行わせる。
【００１０】
これにより、作業用マーカーの設定位置（貼付位置）がずれている場合でも、作業用マーカーのキャリブレーションを行うことが可能になる。
【００１１】
また、本発明の一態様では、前記処理部は、前記撮像画像に対して画像認識処理を行って、前記作業用ジグを用いた作業の基準点、基準線及び基準面のうちの少なくとも一つである作業基準と、前記作業用マーカーとの相対位置姿勢関係を特定してもよい。
【００１２】
本発明の一態様では、作業基準と作業用マーカーとの相対位置姿勢関係を特定する際に、キャリブレーション用マーカーが設けられたキャリブレーション用ジグを用いる。
【００１３】
これにより、作業基準と作業用マーカーの相対位置姿勢関係を正確に特定することが可能になる。さらに、貼付位置及び貼付姿勢のずれを気にせずに、作業用マーカーを作業用ジグに貼付すること等が可能になる。
【００１４】
また、本発明の一態様では、前記撮像画像受付部は、前記キャリブレーション用マーカー及び前記作業基準が、既知の第２の相対位置姿勢関係にある状態で、前記キャリブレーション用マーカー及び前記作業用マーカーを撮像して得られる前記撮像画像を受け付け、前記処理部は、前記撮像画像に基づいて、前記キャリブレーション用マーカー及び前記作業用マーカーのマーカー認識処理を行って、前記相対位置姿勢関係を特定してもよい。
【００１５】
これにより、第２の相対位置姿勢関係を画像認識処理等により特定しなくても、作業基準と作業用マーカーの相対位置姿勢関係を特定すること等が可能になる。
【００１６】
また、本発明の一態様では、前記処理部は、前記マーカー認識処理の結果に基づいて、前記キャリブレーション用マーカー及び前記作業用マーカーの第３の相対位置姿勢関係を特定し、前記第２の相対位置姿勢関係及び前記第３の相対位置姿勢関係に基づいて、前記相対位置姿勢関係を特定してもよい。
【００１７】
これにより、例えば、第２の相対位置姿勢関係と第３の相対位置姿勢関係の差分を取ることにより、作業基準と作業用マーカーの相対位置姿勢関係を特定すること等が可能になる。
【００１８】
また、本発明の一態様では、前記処理部は、前記作業用マーカーのマーカー認識処理の結果及び前記相対位置姿勢関係に基づいて、ロボット座標系における前記作業基準を特定し、前記作業基準に基づいて、前記ロボットを制御してもよい。
【００１９】
これにより、作業用マーカーの設定位置がずれている場合でも、作業基準に基づいて、ロボットを正確に動作させること等が可能になる。
【００２０】
また、本発明の一態様では、前記作業用マーカーは、作業者により前記作業用ジグに貼付されたマーカーであってもよい。
【００２１】
これにより、ロボットの作業に正しく対応した作業用マーカーが貼付された作業用ジグを、効率的に用意すること等が可能になる。
【００２２】
また、本発明の一態様では、前記撮像画像受付部は、前記キャリブレーション用ジグ及び前記作業用ジグが接触した状態で、前記キャリブレーション用マーカー及び前記作業用マーカーを撮像して得られる前記撮像画像を受け付けてもよい。
【００２３】
これにより、キャリブレーション用ジグと作業用ジグの位置合わせを作業者が容易に行うこと等が可能になる。
【００２４】
また、本発明の一態様では、前記キャリブレーション用マーカー及び前記作業用マーカーの少なくとも一方は、ジグプロパティーの情報を有していてもよい。
【００２５】
これにより、マーカー認識処理を行うことにより、ジグプロパティーの情報を取得すること等が可能になる。
【００２６】
また、本発明の一態様では、前記処理部は、前記キャリブレーション用マーカーのマーカー認識処理により、前記キャリブレーション用マーカーの前記ジグプロパティーを認識し、前記ジグプロパティーに基づいて、前記第２の相対位置姿勢関係を特定してもよい。
【００２７】
これにより、第２の相対位置姿勢関係が異なる複数のキャリブレーション用ジグを作業毎に使い分けること等が可能になる。
【００２８】
また、本発明の他の態様は、キャリブレーション用マーカーが設けられたキャリブレーション用ジグと、作業用マーカーが設けられた作業用ジグと、前記キャリブレーション用ジグと前記作業用ジグとを撮像する撮像部と、前記撮像部が撮像した撮像画像により、前記作業用ジグを用いた作業を行うロボットと、を含むロボットシステムに関係する。
【００２９】
また、本発明の他の態様は、キャリブレーション用ジグに設けられたキャリブレーション用マーカーと作業用ジグに設けられた作業用マーカーとを撮像部が撮像した撮像画像により、前記作業用ジグを用いた作業を行うロボットに関係する。
【００３０】
また、本発明の他の態様は、キャリブレーション用マーカーが設けられたキャリブレーション用ジグと、作業用マーカーが設けられた作業用ジグとが映る撮像画像を受け付けることと、前記撮像画像に対して画像認識処理を行って、前記作業用ジグを用いた作業の基準点、基準線及び基準面のうちの少なくとも一つである作業基準と、前記作業用マーカーとの相対位置姿勢関係を特定することと、を含むキャリブレーション方法に関係する。
【００３１】
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラム、又は該プログラムを記憶したコンピューター読み取り可能な情報記憶装置に関係する。
【００３２】
本発明の幾つかの態様によれば、作業用マーカーの設定位置がずれている場合でも、作業用マーカーのキャリブレーションを行うことができる制御装置、ロボットシステム、ロボット及びキャリブレーション方法等を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】作業用ジグを用いたロボットによる作業の説明図。
【図２】作業用マーカーの貼付位置及び貼付姿勢のずれの説明図。
【図３】キャリブレーション用ジグの説明図。
【図４】本実施形態のシステム構成例。
【図５】相対位置姿勢関係の特定処理の説明図。
【図６】本実施形態のキャリブレーションの処理の流れを説明するフローチャート。
【図７】図７（Ａ）〜図７（Ｄ）は、第２の相対位置姿勢関係の説明図。
【図８】本実施形態のロボット制御の処理の流れを説明するフローチャート。
【図９】図９（Ａ）〜図９（Ｄ）は、ネジを吸着する作業の説明図。
【図１０】Ｅリングを取得する作業の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は、ロボットの構成例。
【図１２】ネットワークを介してロボットを制御するロボット制御システムの構成例。
【発明を実施するための形態】
【００３４】
以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３５】
１．本実施形態の手法
まず本実施形態の手法が適用される作業として、例えば図１に示すような作業を考える。図１に示すロボットＲＢは、把持部（ハンド）ＨＤで把持したワークＷＫを、位置Ｐ１〜位置Ｐ３の各位置に並べて置く作業を行う。そのため、まずは位置Ｐ１〜位置Ｐ３を認識する必要があるが、この場合には、作業基準である作業基準点ＳＰを認識し、作業基準点ＳＰに基づいて、位置Ｐ１〜位置Ｐ３を認識する。なお、作業基準とは、作業を行う際に基準となる点、線及び面などであり、図１の例では作業基準点ＳＰである。
【００３６】
そして、その際には、作業者（教示者、ユーザー）により、作業用マーカーＷＭＫが貼付（設定）された作業用ジグＷＪＧを用いて、ロボット座標系における作業基準の位置を特定する。具体的には、撮像部（カメラ）ＣＭにより撮像した撮像画像に基づいて、作業用マーカーＷＭＫを認識し、認識した作業用マーカーＷＭＫの位置と所与の位置関係にある点を、作業基準点ＳＰとして特定する。なお、作業用ジグは、作業毎又は作業基準毎に個別に用意されるものであり、例えば図１のように、作業用ジグＷＪＧの一部分を作業基準（ＳＰ）と合わせる（接触又は隣接させる）ことが可能なものである。
【００３７】
しかし、前述したように、この作業用マーカーは、作業者（教示者、マーカー）が作業用ジグに貼付（設定）するものであるため、貼付位置や貼付姿勢がずれることが多い。例えば、図２に示すように、作業用ジグＷＪＧの理想貼付位置ＩＰに作業用マーカーを貼り付けようとしたものの、貼付位置がずれて、実際の貼付位置が位置ＲＰになってしまうこと等がよくある。この場合には、作業用マーカーに基づいて、作業基準を正確に特定できなくなることがある。具体的には、貼付位置が５ｍｍずれたり、貼付姿勢が１０度ずれたりするだけで、正確な作業基準を特定できなくなる。なお、前述した特許文献１においては、位置合わせマークが作業用マーカーに相当し、この位置合わせマークを設定する際にずれが生じる可能性がある。
【００３８】
そこで、本実施形態では、図３に示すように、作業用ジグＷＪＧの他に、キャリブレーション用マーカーＣＭＫが貼付（設定）されたキャリブレーション用ジグＣＪＧを用いて、作業前に作業用マーカーＷＭＫのキャリブレーションを行う。具体的には、キャリブレーション用ジグＣＪＧを用いて、作業用マーカーＷＭＫと作業基準（作業基準点ＳＰ）との正確な相対位置姿勢関係を特定する。作業用マーカーＷＭＫと作業基準との正確な相対位置姿勢関係が分かれば、作業用マーカーＷＭＫの貼付位置が本来の理想貼付位置からずれていたとしても、ロボット座標系における作業基準の位置を正確に特定することが可能となる。
【００３９】
具体的に、本実施形態の制御装置１００及び制御装置１００を含むロボット３００の構成例を図４に示す。本実施形態の制御装置１００は、撮像画像を受け付ける撮像画像受付部１１０と、ロボット３００に、撮像画像に基づいて作業用ジグ７００を用いた作業を行わせる処理部１３０と、を含む。なお、本実施形態の制御装置１００は、図４の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の制御装置１００は、後述する図１１（Ａ）に示すように、ロボット３００に含まれており、ロボット３００と一体に構成されていてもよい。さらに、後述する図１２に示すように、制御装置１００の機能は、サーバー５００と、各ロボット３００が有する端末装置３３０とにより、実現されてもよい。
【００４０】
まず、撮像画像受付部１１０は、キャリブレーション用ジグ６００に設けられたキャリブレーション用マーカー６１０と、作業用ジグ７００に設けられた作業用マーカー７１０とが映る撮像画像を取得する。なお、撮像画像受付部１１０は、撮像部２００からの撮像画像を受け付けるインターフェース部、或いは、有線及び無線の少なくとも一方を含むネットワークを介して撮像部２００からの撮像画像を受信する通信部などにより実現できる。
【００４１】
そして、処理部１３０は、撮像画像に対して画像認識処理を行って、作業用ジグ７００を用いた作業の基準点、基準線及び基準面のうちの少なくとも一つである作業基準と、作業用マーカー７１０との相対位置姿勢関係を特定する。なお、処理部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００４２】
具体的には、撮像画像受付部１１０は、キャリブレーション用マーカー６１０及び作業基準が、既知の第２の相対位置姿勢関係にある状態で、キャリブレーション用マーカー６１０及び作業用マーカー７１０を撮像して得られる撮像画像を取得する。
【００４３】
そして、処理部１３０は、撮像画像に基づいて、キャリブレーション用マーカー６１０及び作業用マーカー７１０のマーカー認識処理を行って、作業基準及び作業用マーカー７１０の相対位置姿勢関係を特定する。
【００４４】
さらに、より具体的には、処理部１３０は、マーカー認識処理の結果に基づいて、キャリブレーション用マーカー６１０及び作業用マーカー７１０の第３の相対位置姿勢関係を特定し、第２の相対位置姿勢関係及び第３の相対位置姿勢関係に基づいて、作業基準及び作業用マーカー７１０の相対位置姿勢関係を特定する。
【００４５】
ここで、図５を用いて具体例を説明する。まず、本例では、キャリブレーション用マーカーＣＭＫと作業基準点ＳＰ（作業基準）が、第２の相対位置姿勢関係にある状態で、キャリブレーション用マーカーＣＭＫと作業用マーカーＷＭＫを撮像する。
【００４６】
ここで、キャリブレーション用マーカーＣＭＫは、メーカーによりキャリブレーション用ジグＣＪＧに正確に貼付されたものである。つまり、キャリブレーション用マーカーＣＭＫと作業基準点ＳＰとの相対位置姿勢関係が、あらかじめ決められた第２の位置姿勢関係になるように、キャリブレーション用マーカーＣＭＫがキャリブレーション用ジグＣＪＧに貼付されている。例えば、図５における第２の相対位置姿勢関係は、キャリブレーション用マーカーＣＭＫの中心点ＣＭＣから、作業基準点ＳＰへのベクトルＤＲ２により表されるような相対位置姿勢関係である。なお、実際の作業を行う際には、キャリブレーション用ジグＣＪＧを用いる必要はない。キャリブレーション用ジグＣＪＧは、あくまで作業前に、作業用マーカーＷＭＫと作業基準との相対位置姿勢関係を正確に特定するために用いるものである。ただし、後述する図９（Ａ）〜図９（Ｄ）の例や、図１０の例のように、作業に用いるツールをキャリブレーション用ジグＣＪＧとして用いることなども可能である。
【００４７】
次に、撮像画像に基づいて、マーカー認識処理を行って、作業用マーカーＷＭＫとキャリブレーション用マーカーＣＭＫを認識し、第３の相対位置姿勢関係を特定する。例えば、図５における第３の相対位置姿勢関係は、キャリブレーション用マーカーＣＭＫの中心点ＣＭＣから、作業用マーカーＷＭＫの中心点ＷＭＣへのベクトルＤＲ３により表されるような相対位置姿勢関係である。
【００４８】
そして、第２の相対位置姿勢関係であるベクトルＤＲ２と、第３の相対位置姿勢関係であるベクトルＤＲ３との差分を取ることにより、作業基準点ＳＰ及び作業用マーカーＷＭＫの相対位置姿勢関係を表すベクトルＤＲを特定する。例えばこのベクトルＤＲは、作業用マーカーＷＭＫの中心点ＷＭＣから、作業基準点ＳＰへのベクトルである。
【００４９】
なお、図５の例では、作業基準として作業基準点ＳＰを用いる場合について説明したが、前述したように作業基準として、作業基準線や作業基準面を用いることも可能である。例えば、作業基準線は、点ＳＰと端点Ｐ１を結ぶ第１の直線や、点ＳＰと端点Ｐ２を結ぶ第２の直線などである。また、作業基準面は、第１の直線を含み、紙面に対して垂直な第１の面と、第２の直線を含み、紙面に対して垂直な第２の面と、第１の直線と第２の直線とを含む第３の面などである。
【００５０】
これにより、作業用マーカーの設定位置（貼付位置）がずれている場合でも、作業用マーカーのキャリブレーションを行うことが可能になり、前述したように、作業基準と作業用マーカーの相対位置姿勢関係を正確に特定すること等が可能になる。
【００５１】
また、第２の相対位置姿勢関係が既知な相対位置姿勢関係であることにより、第２の相対位置姿勢関係を画像認識処理などにより特定しなくても、作業基準と作業用マーカーの相対位置姿勢関係を特定すること等が可能になる。
【００５２】
さらに、第３の相対位置姿勢関係を特定することにより、例えば第２の相対位置姿勢関係と第３の相対位置姿勢関係の差分を取ることによって、作業基準と作業用マーカーの相対位置姿勢関係を特定すること等が可能になる。
【００５３】
そして、処理部１３０は、作業用マーカー７１０のマーカー認識処理の結果、及び特定した相対位置姿勢関係に基づいて、ロボット座標系における作業基準を特定し、作業基準に基づいて、ロボット３００を制御する。
【００５４】
これにより、作業用マーカーの設定位置がずれている場合でも、作業基準に基づいて、ロボット３００を正確に動作させること等が可能になる。例えば前述した図１の例においては、作業用マーカーＷＭＫがずれて貼られている場合でも、前述した方法でロボット座標系での作業基準点ＳＰを正確に認識し、認識した作業基準点ＳＰに基づいて、ロボットＲＢを動作させ、ワークＷＫを位置Ｐ１〜位置Ｐ３に並べて置くこと等が可能になる。
【００５５】
以上のような処理を行うため、貼付位置及び貼付姿勢のずれを気にせずに、作業用マーカーを作業用ジグに貼付すること等が可能になる。
【００５６】
よって、作業用マーカー７１０は、作業者により作業用ジグ７００に貼付されたマーカーであってもよい。
【００５７】
これにより、ロボットに行わせる作業の種類が多い場合などには特に、作業の準備の効率化を図ること等が可能になる。この場合の作業の準備とは、作業に正しく対応した作業用マーカーが貼付された作業用ジグを用意することである。なお、作業用マーカー及びキャリブレーション用マーカーは、図示したものには限定されず、どのようなマーカーを用いてもよい。
【００５８】
また、本実施形態は、キャリブレーション用ジグ及びキャリブレーション用マーカーを用いる点において、前述した特許文献１とは明確に異なる。前述した特許文献１では、位置合わせマーク（作業用マーカー）に基づいて、作業基準を特定するが、位置合わせマークの設定位置がずれる可能性があり、この場合には、正確に作業基準を特定することができない。これに対して、本実施形態は、キャリブレーション用マーカーを用いて、作業用マーカーと作業基準との正確な相対位置姿勢関係を特定する。そのため、作業用マーカーが多少ずれて貼られた場合であっても、ロボット座標系における作業基準の位置（位置及び姿勢）を正確に特定して、ロボットを制御することが可能である。
【００５９】
２．処理の詳細
次に、本実施形態におけるキャリブレーションの処理の流れを図６のフローチャートを用いて説明する。
【００６０】
まず、作業者（ユーザー、教示者）が作業用ジグに作業用マーカーを貼付する（Ｓ１０１）。次に、作業者が、キャリブレーション用ジグと作業用ジグを作業基準に合わせて置き（Ｓ１０２）、撮像部２００が、キャリブレーション用マーカーと作業用マーカーを撮像する（Ｓ１０３）。
【００６１】
この時、例えば前述した図５のように、撮像画像受付部１１０は、キャリブレーション用ジグ６００（ＣＪＧ）及び作業用ジグ７００（ＷＪＧ）が接触した状態で、キャリブレーション用マーカー６１０（ＣＭＫ）及び作業用マーカー７１０（ＷＭＫ）を撮像して得られる撮像画像を取得する（Ｓ１０２、Ｓ１０３）。
【００６２】
このように、二つのジグを接触させて設置することで、キャリブレーション用ジグと作業用ジグの位置合わせを作業者が容易に行うこと等が可能になる。
【００６３】
次に、処理部１３０は、撮像画像に基づいて、キャリブレーション用マーカーと作業用マーカーのマーカー認識処理を行う（Ｓ１０４）。そして、処理部１３０は、マーカー認識処理の結果に基づいて、第２の相対位置姿勢関係を特定する（Ｓ１０５）。
【００６４】
ここで、第２の相対位置姿勢関係を特定する処理の具体例を説明する。まず、キャリブレーション用マーカー６１０及び作業用マーカー７１０の少なくとも一方は、ジグプロパティーの情報を有している。ジグプロパティーの情報とは、例えばジグ又はマーカーのＩＤやジグの形状に関わる情報、そのジグに対応する作業基準の情報、作業内容の情報などのことである。
【００６５】
ここでは例えば、キャリブレーション用マーカーが、ジグプロパティーの情報としてジグＩＤ（マーカーＩＤ）を有している例を、図７（Ａ）〜図７（Ｄ）を用いて説明する。
【００６６】
本例では、形状が異なるキャリブレーション用ジグ毎に、異なるキャリブレーション用マーカーが貼付されている。具体的には、図７（Ａ）のキャリブレーション用ジグＣＪＧ１には、キャリブレーション用マーカーＣＭＫ１が貼付されており、図７（Ｂ）のキャリブレーション用ジグＣＪＧ２には、キャリブレーション用マーカーＣＭＫ２が、図７（Ｃ）のキャリブレーション用ジグＣＪＧ３には、キャリブレーション用マーカーＣＭＫ３が貼付されている。これらのキャリブレーション用ジグ（ＣＪＧ１〜ＣＪＧ３）は、互いに形状が異なるジグである。また、これらのキャリブレーション用マーカー（ＣＭＫ１〜ＣＭＫ３）も、互いに異なるマーカーである。さらに、これらのキャリブレーション用マーカー（ＣＭＫ１〜ＣＭＫ３）の各マーカーが有するジグプロパティーも互いに異なるものである。
【００６７】
この場合に、各キャリブレーション用ジグの左上隅を作業基準点に合わせて置くようにすると、キャリブレーション用マーカーと作業基準点との第２の相対位置姿勢関係が、互いに異なることになる。具体的には、図７（Ａ）の場合には、キャリブレーション用マーカーＭＫ１と作業基準点ＳＰ１との第２の相対位置姿勢関係は、ＰＲ１となり、図７（Ｂ）の場合には、キャリブレーション用マーカーＭＫ２と作業基準点ＳＰ２との第２の相対位置姿勢関係は、ＰＲ２となり、図７（Ｃ）の場合には、キャリブレーション用マーカーＭＫ３と作業基準点ＳＰ３との第２の相対位置姿勢関係は、ＰＲ３となる。本例では、このような各第２の相対位置姿勢関係を、図７（Ｄ）の表のように、各ジグＩＤに関連付けて記憶している。
【００６８】
そして、処理部１３０は、マーカー認識処理により、キャリブレーション用マーカー６１０のジグプロパティーを認識し、ジグプロパティーに基づいて、第２の相対位置姿勢関係を特定する（Ｓ１０５）。
【００６９】
具体的に本例では、マーカー認識処理によって、キャリブレーション用マーカーのジグＩＤを認識し、認識したジグＩＤに関連付けて記憶されている第２の相対位置姿勢関係を特定する。例えば、マーカー認識処理により、ジグＩＤがＣＭＫ１であると特定した場合には、第２の相対位置姿勢関係はＰＲ１であると特定する。その他の場合についても同様である。また、本例では、作業基準が作業基準点である場合について説明したが、作業基準が作業基準線や作業基準面である場合にも同様の処理を行うことが可能である。さらに、キャリブレーション用マーカーがジグＩＤではなく、第２の相対位置姿勢関係に関する情報を直接有している場合には、記憶部を介して第２の相対位置姿勢関係を特定するのではなく、マーカー認識処理により、第２の相対位置姿勢関係を直接、認識してもよい。
【００７０】
これにより、マーカー認識処理を行うことにより、ジグプロパティーの情報を取得すること等が可能になる。
【００７１】
そして、マーカー認識処理の結果に基づいて、第２の相対位置姿勢関係を特定すること等が可能になる。従って、第２の相対位置姿勢関係が異なる複数のキャリブレーション用ジグを作業毎に使い分けること等が可能になる。
【００７２】
次に、処理部１３０は、キャリブレーション用マーカーのマーカー認識処理の結果に基づいて、キャリブレーション用マーカー及び作業用マーカーの第３の相対位置姿勢関係を特定する（Ｓ１０６）。例えば、第３の相対位置姿勢関係は、前述した図５の例ではＤＲ３である。
【００７３】
そして、処理部１３０は、第２の相対位置姿勢関係及び第３の相対位置姿勢関係に基づいて、作業基準及び作業用マーカーの相対位置姿勢関係を特定し（Ｓ１０７）、特定した相対位置姿勢関係とジグＩＤとを関連付けて記憶部に記憶する（Ｓ１０８）。以上が、本実施形態におけるキャリブレーションの処理の流れである。
【００７４】
次に、図８のフローチャートを用いて、実際にロボットを動作させる際の処理の流れについて説明する。
【００７５】
まず、作業者が作業用ジグを作業エリア内に設置する（Ｓ２０１）。この際には、キャリブレーションを行った時と同じように、作業基準に合わせて作業用ジグを設置するが、キャリブレーション用ジグを設置する必要はない。
【００７６】
次に、撮像部２００により作業用ジグ（作業用マーカー）と作業基準を撮像し、撮像画像を取得する（Ｓ２０２）。そして、作業用マーカーのマーカー認識処理により、ジグＩＤを認識し、認識したジグＩＤに関連付けて記憶されている相対位置姿勢関係を特定する（Ｓ２０３）。この相対位置姿勢関係は、図６のステップＳ１０８において、ジグＩＤに関連付けて記憶部に記憶されたものである。
【００７７】
そして、特定した相対位置姿勢関係に基づいて、ロボット座標系における作業基準の位置（位置及び姿勢）を特定し（Ｓ２０４）、特定した作業基準に基づいて、ロボットを動作させる（Ｓ２０５）。以上が、ロボットを動作させる際の処理の流れである。
【００７８】
また、以上の説明では、図５に示すようなＬ字型の作業用ジグＷＪＧと、矩形のキャリブレーション用ジグＣＪＧを用いる例について説明したが、本実施形態はこれに限定されない。例えば、図９（Ａ）〜図９（Ｄ）に示すように、キャリブレーション用ジグＣＪＧとしてドライバーを用い、作業用ジグＷＪＧとしてネジ供給機を用いる場合などもある。以下で、図９（Ａ）〜図９（Ｄ）の例について説明する。
【００７９】
まず、図９（Ａ）〜図９（Ｄ）では、ワークＷＫ（本例ではカッターユニット）にネジＳＣを組み付ける作業を、ロボットに行わせる様子を図示している。本例ではその中でも特に、ネジ供給機ＷＪＧにネジＳＣを取りに行く作業に着目する。ネジ供給機ＷＪＧにネジＳＣを取りに行く際には、ロボットのハンドＨＤが把持するドライバーＣＪＧの先端ＣＰを、ネジＳＣの先端ＷＰに合わせる必要がある。つまり、本例では、ネジＳＣの先端ＷＰが作業基準点となり、この作業基準点ＷＰにドライバーＣＪＧの先端ＣＰを合わせる作業をロボットに行わせる。
【００８０】
実際にこの作業を行う際には、ネジ供給機ＷＪＧに貼付された作業用マーカーＷＭＫに対して、マーカー認識処理を行い、このマーカー認識処理の結果に基づいて、ロボットを動作させる。しかし、この作業用マーカーＷＭＫは、作業者により貼付されたものであるため、前述したように、貼付位置及び貼付姿勢がずれている場合がある。
【００８１】
そこで、ドライバーＣＪＧに基づいて、作業用マーカーＷＭＫのキャリブレーションを行う。なお、このドライバーＣＪＧには、メーカーによりキャリブレーション用マーカーＣＭＫが正確に貼付されている。
【００８２】
この際には、まず図９（Ａ）に示すように、ロボットのハンドＨＤで、ドライバーＣＪＧを把持する。次に、図９（Ｂ）及び図９（Ｃ）に示すように、把持したドライバーＣＪＧの先端ＣＰが、ネジＳＣの先端ＷＰに接触するように、ドライバーＣＪＧを移動させる。
【００８３】
そして、ドライバーＣＪＧの先端ＣＰが、ネジＳＣの先端ＷＰに接触している状態を撮像部により撮像し、作業用マーカーＷＭＫ及びキャリブレーション用マーカーＣＭＫのマーカー認識処理を行う。次に、前述したように、マーカー認識処理の結果に基づいて、第２の相対位置姿勢関係と第３の相対位置姿勢関係を特定する。この時の第２の相対位置姿勢関係は、キャリブレーション用マーカーＣＭＫとネジＳＣの先端ＷＰ（又はドライバーＣＪＧの先端ＣＰ）の相対位置姿勢関係であり、第３の相対位置姿勢関係は、キャリブレーション用マーカーＣＭＫと作業用マーカーＷＭＫの相対位置姿勢関係である。
【００８４】
次に、特定した第２の相対位置姿勢関係と第３の相対位置姿勢関係とに基づいて、作業用マーカーＷＭＫとネジＳＣの先端ＷＰとの相対位置姿勢関係を特定し、特定した相対位置姿勢関係を、作業用マーカーＷＭＫのジグＩＤに関連付けて記憶部に記憶させる。ここまでがキャリブレーションの処理である。
【００８５】
そして、前述したように、ドライバーＣＪＧの先端ＣＰにネジＳＣを吸着させる作業を、ロボットに実際に行わせる際には、作業用マーカーＷＭＫのマーカー認識処理を行い、認識したジグＩＤに関連付けて記憶されている相対位置姿勢関係を特定する。そして、特定した相対位置姿勢関係に基づいて、ロボット座標系におけるネジＳＣの先端ＷＰの位置を特定し、特定したネジＳＣの先端ＷＰの位置に基づいて、ロボットを動作させて、ドライバーＣＪＧの先端ＣＰにネジＳＣを吸着させる。
【００８６】
最後に、図９（Ｄ）に示すように、ドライバーＣＪＧの先端ＣＰに吸着させたネジＳＣをワークＷＫに組み付ける。なお、本例では、ドライバーＣＪＧが、キャリブレーション用ジグとツールの両方の役割を兼ねているため、実際の作業時にもドライバーＣＪＧが用いられることになる。ここで、ツールとは、ワークや作業対象に対して加工等の作業を行うための道具であって、例えばドリルやドライバーなどの工具を指す。なお、ツールは、把持部３１０により把持されるものであってもよいし、ロボット３００のアームのエンドポイントに直接設けられるものであってもよい。
【００８７】
さらに、他の例を図１０に示す。本例では、Ｅリング供給機ＷＪＧの軸に沿って、ＥリングＥＲが並んで積み上げられている。この時に、ＥリングＥＲにＥリングセッターＣＪＧを押し付けて、ＥリングＥＲを取得する作業を、ロボットに行わせる。
【００８８】
この場合には、ＥリングセッターＣＪＧが、キャリブレーション用ジグとして用いられるため、ＥリングセッターＣＪＧにキャリブレーション用マーカーＣＭＫが貼付されている。一方で、Ｅリング供給機ＷＪＧは作業用ジグとして用いられ、Ｅリング供給機ＷＪＧに作業用マーカーＷＭＫが貼付されている。
【００８９】
そして、一番下のＥリングの位置を作業基準点ＷＰとして、ＥリングセッターＣＪＧの先端ＣＰを押し付けた状態で、前述した作業用マーカーＷＭＫのキャリブレーションの処理を行い、作業用マーカーＷＭＫと作業基準点ＷＰの相対位置姿勢関係を特定して、記憶する。
【００９０】
これにより、実際の作業を行う際には、Ｅリング供給機ＷＪＧに貼付された作業用マーカーＷＭＫのマーカー認識処理を行うことにより、ロボット座標系における正確な作業基準点ＷＰを認識し、ＥリングＥＲを取得する作業をロボットに行わせることが可能になる。
【００９１】
３．ロボット及びロボットシステム
次に、本実施形態のロボット３００について説明する。ロボット３００は、前述した図４に示すように、制御装置１００（撮像画像受付部１１０と処理部１３０とを有する）と、ロボット制御部３５０と、ロボット機構３８０と、を含む。また、ロボットシステムは、キャリブレーション用ジグ６００と、作業用ジグ７００と、撮像部２００と、ロボット３００と、を含む。
【００９２】
そして、ロボット機構３８０は、エンドエフェクター３１０やアーム３２０等を有している。ここで、エンドエフェクター３１０とは、ワーク（作業対象物）を把持したり、持ち上げたり、吊り上げたり、吸着させたり、ワークに加工を施したりするために、アームのエンドポイントに取り付ける部品のことをいう。エンドエフェクター３１０は、例えばハンド（把持部）であってもよいし、フックであってもよいし、吸盤等であってもよい。さらに、１本のアームに対して、複数のエンドエフェクターを設けても良い。なお、アームとは、ロボット３００のパーツであって、一つ以上の関節を含む可動パーツのことをいう。
【００９３】
次に、処理部１３０は、前述した各処理を行うことにより、ロボット座標系における作業基準を特定し、特定した作業基準をロボット制御部３５０に出力する。そして、ロボット制御部３５０は、取得したロボット座標系での作業基準に基づいて、ロボット機構３８０を制御する。
【００９４】
この場合には、ロボット３００は、図１１（Ａ）のようにロボット本体と制御装置１００とが一体に構成されていてもよい。すなわち、ロボット３００は、制御装置１００を含んでいてもよい。具体的には図１１（Ａ）に示すように、ロボット３００は、ロボット機構３８０及びロボット機構３８０を支えるベースユニット部を有し、当該ベースユニット部に制御装置１００及びロボット制御部３５０が格納されるものであってもよい。そして、図１１（Ａ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。このロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動させるモーターを設け、当該モーターをロボット制御部３５０により制御することにより、移動させられるものであってもよい。なお、図１１（Ａ）は双腕型の例であるが、ロボット３００は、後述する図１１（Ｂ）に示すように単腕型や、その他の多腕型のロボットであってもよい。
【００９５】
さらに、図１１（Ａ）のように、ロボット３００の下に設けられたベースユニット部に、制御装置１００が設けられるとは限られない。例えば、本実施形態のロボット３００は、図１１（Ｂ）に示すように、ロボット本体３００（ロボット）と制御装置１００とが別体に構成されていてもよい。この場合には、制御装置１００の一部又は全部の機能は、例えばＰＣ（Personal Computer）により実現される。この場合には、制御装置１００とロボット３００は、有線及び無線の少なくとも一方を含むネットワークを介して、通信接続されている。
【００９６】
また、図１２に示すように、制御装置１００の機能は、有線及び無線の少なくとも一方を含むネットワーク４００を介して、ロボット３００と通信接続されたサーバー５００により実現されてもよい。
【００９７】
或いは本実施形態では、本発明の制御装置の処理の一部を、サーバー５００側の制御装置が行ってもよい。この場合には、ロボット３００側に設けられた制御装置との分散処理により、当該処理を実現する。なお、ロボット３００側の制御装置は、例えばロボット３００に設置される端末装置３３０（制御部）により実現される。
【００９８】
そして、この場合に、サーバー５００側の制御装置は、本発明の制御装置における各処理のうち、サーバー５００の制御装置に割り当てられた処理を行う。一方、ロボット３００に設けられた制御装置は、本発明の制御装置の各処理のうち、ロボット３００の制御装置に割り当てられた処理を行う。なお、本発明の制御装置の各処理は、サーバー５００側に割り当てられた処理であってもよいし、ロボット３００側に割り当てられた処理であってもよい。
【００９９】
これにより、例えば端末装置３３０よりも処理能力の高いサーバー５００が、処理量の多い処理を行うこと等が可能になる。さらに、例えばサーバー５００が各ロボット３００の動作を一括して制御することができ、複数のロボット３００に協調動作をさせること等が容易になる。
【０１００】
そして、撮像部（カメラ）２００は、例えばＣＣＤ（charge-coupled device）等の撮像素子と光学系とを含む。撮像部２００は、例えば天井や作業台の上などに、作業用マーカー及びキャリブレーション用マーカー、作業基準等が、撮像部２００の画角内に入るような角度で配置される。そして、撮像部２００は、撮像画像の情報を制御装置１００（撮像画像受付部１１０）に出力する。ただし、本実施形態においては、撮像画像の情報をそのまま制御装置１００に出力するものとするが、これに限定されるものではない。例えば、撮像部２００は、画像処理用等に用いられるデバイス（プロセッサー）を含むことができる。
【０１０１】
また、以上の説明では、ロボット３００を制御するために、制御装置１００により相対位置姿勢関係を特定する処理について説明してきたが、本実施形態はこれに限定されない。例えば、特定した相対位置姿勢関係をＣＡＤ（Computer Aided Design）マッチング（物体検出）等に用いることも可能である。
【０１０２】
なお、本実施形態の制御装置、ロボットシステム及びロボット等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の制御装置、ロボットシステム及びロボット等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶装置（コンピューターにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１０３】
また、本実施形態の制御装置等は、プロセッサーとメモリーを含んでも良い。ここでのプロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種プロセッサーを用いることが可能である。また、プロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリーはコンピューターにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係る制御装置等の各部が実現されることになる。ここでのメモリーは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して操作を指示する命令であってもよい。
【０１０４】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、制御装置及びロボット等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０５】
１００  制御装置、１１０  撮像画像受付部、１３０  処理部、２００  撮像部、
３００  ロボット、３１０  エンドエフェクター、３２０  アーム、３３０  端末装置、３５０  ロボット制御部、３８０  ロボット機構、４００  ネットワーク、
５００  サーバー、６００  キャリブレーション用ジグ、
６１０  キャリブレーション用マーカー、７００  作業用ジグ、７１０  作業用マーカー
【図１】
2015136742.tif 000003
【図２】
2015136742.tif 000004
【図３】
2015136742.tif 000005
【図４】
2015136742.tif 000006
【図５】
2015136742.tif 000007
【図６】
2015136742.tif 000008
【図７】
2015136742.tif 000009
【図８】
2015136742.tif 000010
【図９】
2015136742.tif 000011
【図１０】
2015136742.tif 000012
【図１１】
2015136742.tif 000013
【図１２】
2015136742.tif 000014