(57)【要約】【課題】  作業者がロボットの操作に未習熟である場合にも、ロボットと撮像部とのキャリブレーションを行うことができるロボットシステム、ロボット、制御装置及びロボットの制御方法等の提供。【解決手段】  本実施形態のロボットシステムは、ロボットと、制御装置１００と、を含み、制御装置１００は、作業台に設けられた物体に対してマーカーを形成させるマーカー形成動作を、ロボットに行わせ、撮像部２００によりマーカーを撮像して得られた撮像画像に基づいて、ロボットに対する撮像部２００の相対位置姿勢関係を特定する。【選択図】  図１
2016078195.tif 000002
【特許請求の範囲】
【請求項１】
ロボットと、
制御装置と、
を含み、
前記制御装置は、
作業台に設けられた物体に対してマーカーを形成させるマーカー形成動作を、前記ロボ
ットに行わせ、
撮像部により前記マーカーを撮像して得られた撮像画像に基づいて、前記ロボットに対
する前記撮像部の相対位置姿勢関係を特定することを特徴とするロボットシステム。
【請求項２】
請求項１において、
前記マーカーは、
前記ロボットのエンドエフェクターによって把持された把持物によって形成されるマー
カーであることを特徴とするロボットシステム。
【請求項３】
請求項２において、
前記把持物は、
スタンプであることを特徴とするロボットシステム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記制御装置は、
前記撮像画像に基づいて、カメラ座標系における前記マーカーの位置を特定し、
前記マーカーの形成時に特定したロボット座標系における前記マーカーの位置と、前記
カメラ座標系における前記マーカーの位置とに基づいて、前記ロボットに対する前記撮像
部の前記相対位置姿勢関係を特定することを特徴とするロボットシステム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記制御装置は、
前記相対位置姿勢関係が特定された後に、前記マーカー形成動作を前記ロボットに再実
行させることを特徴とするロボットシステム。
【請求項６】
請求項５において、
前記制御装置は、
前記相対位置姿勢関係が特定された後、前記ロボットによる作業の精度が低下した場合
に、前記マーカー形成動作を前記ロボットに再実行させ、前記マーカー形成動作の再実行
後に前記撮像部から得られた撮像画像に基づいて、前記作業の精度低下要因を特定するこ
とを特徴とするロボットシステム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記撮像部である第１撮像部と、
前記第１撮像部とは異なる第２撮像部と、
を有することを特徴とするロボットシステム。
【請求項８】
請求項７において、
前記制御装置は、
前記相対位置姿勢関係が特定された後に、前記マーカー形成動作を前記ロボットに再実
行させ、前記マーカー形成動作の再実行後において、前記第１撮像部から取得される第１
撮像画像と、前記第２撮像部から取得される第２撮像画像とに基づいて、再投影誤差を求
めることを特徴とするロボットシステム。
【請求項９】
請求項８において、
前記制御装置は、
前記再投影誤差に基づいて、前記第１撮像部及び前記第２撮像部の相対位置姿勢が変化
しているか否かを判定することを特徴とするロボットシステム。
【請求項１０】
請求項８又は９において、
前記制御装置は、
前記第１撮像画像における前記マーカーの位置と、前記第１撮像部のカメラ内部パラメ
ーターと、前記第１撮像画像上の位置から前記第１撮像部の第１カメラ座標系における位
置への位置変換パラメーターと、に基づいて、前記第１カメラ座標系における前記マーカ
ーの位置を特定し、
前記第１カメラ座標系における前記マーカーの位置と、前記第１カメラ座標系から前記
第２撮像部の第２カメラ座標系へのカメラ間位置変換パラメーターに基づいて、前記第２
撮像画像上の前記マーカーの推定位置を推定し、
前記第２撮像画像に基づいて、前記第２撮像画像上の前記マーカーの実際の位置を特定
し、
前記第２撮像画像上の前記マーカーの実際の位置と、前記推定位置との差である前記再
投影誤差を求めることを特徴とするロボットシステム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記制御装置は、
前記作業台上の前記物体に画像特徴量を抽出可能な複数のマーカーを、前記ロボットに
形成させることを特徴とするロボットシステム。
【請求項１２】
作業台に設けられた物体に対してマーカーを形成するマーカー形成動作を行い、撮像部
により前記マーカーを撮像して得られた撮像画像に基づいて、ロボットに対する前記撮像
部の相対位置姿勢関係を特定することを特徴とするロボット。
【請求項１３】
作業台に設けられた物体にマーカーを形成させる動作を、ロボットに行わせる制御部と
、
前記マーカーを撮像して得られた撮像画像を、撮像部から受け付ける画像受付部と、
を含み、
前記制御部は、
前記撮像画像に基づいて、前記ロボットに対する前記撮像部の相対位置姿勢関係を特定
することを特徴とする制御装置。
【請求項１４】
作業台に設けられた物体にマーカーを形成させる動作を、ロボットに行わせ、
撮像部により前記マーカーを撮像して得られた撮像画像に基づいて、前記ロボットに対
する前記撮像部の相対位置姿勢関係を特定することを特徴とするロボットの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステム、ロボット、制御装置及びロボットの制御方法等に関係す
る。
【背景技術】
【０００２】
現在、カメラにより取得される画像情報を利用してワークを把持するロボットが開発さ
れている。例えば２台のカメラ（ステレオカメラ）を用いて取得した画像情報から、ワー
クの３次元位置を算出することで、ロボットにワークを把持させることが可能になる。
【０００３】
カメラによりワークを検出し、ロボットによる把持作業を行うためには、カメラが有す
る座標系（以下、カメラ座標系）とロボットが有する座標系（以下、ロボット座標系）が
校正されており、互いの座標系間を変換するパラメーターが求められている必要がある。
【０００４】
カメラ座標系とロボット座標系の校正を行う方法としては、例えば特許文献１において
開示されているように、ロボット座標系とカメラ座標系の間に別の座標系（キャリブレー
ション治具の座標系）を介在させることにより、校正を行う方法がある。この校正により
、カメラ座標系からキャリブレーション治具の座標系へ、そしてキャリブレーション治具
の座標系からロボット座標系へと変換することが可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２１０８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前述した特許文献１等において開示されているような、ロボット座標系とカメ
ラ座標系の間に別の座標系（キャリブレーション治具の座標系）を介在させる手法では、
次のような課題がある。まず、第１に、ロボットによってキャリブレーション治具をタッ
チアップする必要があり、その際に、人の手による校正作業が必須である。第２に、ロボ
ットによるキャリブレーション冶具のタッチアップはジョグツール等を用いて行われるた
め、ジョグツールによるロボットの操作に作業者が慣れている必要がある。よって、作業
者がロボットの操作に未習熟である場合には、ロボットと撮像部とのキャリブレーション
（校正）を行うことが難しかった。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ロボットと、制御装置と、を含み、前記制御装置は、作業台に設け
られた物体に対してマーカーを形成させるマーカー形成動作を、前記ロボットに行わせ、
撮像部により前記マーカーを撮像して得られた撮像画像に基づいて、前記ロボットに対す
る前記撮像部の相対位置姿勢関係を特定するロボットシステムに関係する。
【０００８】
本発明の一態様では、作業台に設けられた物体に対し、マーカー形成動作をロボットに
行わせ、撮像部によりマーカーを撮像して得られた撮像画像に基づいて、ロボットに対す
る撮像部の相対位置姿勢関係を特定する。よって、作業者がロボットの操作に未習熟であ
る場合にも、ロボットと撮像部とのキャリブレーションを行うことが可能になる。
【０００９】
また、本発明の一態様では、前記マーカーは、前記ロボットのエンドエフェクターによ
って把持された把持物によって形成されるマーカーであってもよい。
【００１０】
これにより、ロボットが、作業台上の物体に対して自在にマーカーを形成すること等が
可能になる。
【００１１】
また、本発明の一態様では、前記把持物は、スタンプであってもよい。
【００１２】
これにより、ロボットが簡単な手順でマーカーを形成すること等が可能になる。
【００１３】
また、本発明の一態様では、前記制御装置は、前記撮像画像に基づいて、カメラ座標系
における前記マーカーの位置を特定し、前記マーカーの形成時に特定したロボット座標系
における前記マーカーの位置と、前記カメラ座標系における前記マーカーの位置とに基づ
いて、前記ロボットに対する前記撮像部の前記相対位置姿勢関係を特定してもよい。
【００１４】
これにより、撮像画像上のマーカー位置から、ロボット座標系におけるマーカー位置を
求めること等が可能になる。
【００１５】
また、本発明の一態様では、前記制御装置は、前記相対位置姿勢関係が特定された後に
、前記マーカー形成動作を前記ロボットに再実行させてもよい。
【００１６】
これにより、キャリブレーション時と同じマーカー形成動作をロボットが行うことがで
きるか否かを検証すること等が可能になる。
【００１７】
また、本発明の一態様では、前記制御装置は、前記相対位置姿勢関係が特定された後、
前記ロボットによる作業の精度が低下した場合に、前記マーカー形成動作を前記ロボット
に再実行させ、前記マーカー形成動作の再実行後に前記撮像部から得られた撮像画像に基
づいて、前記作業の精度低下要因を特定してもよい。
【００１８】
これにより、作業精度の低下要因が、例えばロボット自体のメカ校正情報が変化したこ
とであるか、カメラとロボットの相対位置姿勢関係が変化したことであるか、又はカメラ
間の相対位置姿勢関係が変化したことであるかを判別すること等が可能となる。
【００１９】
また、本発明の一態様では、前記撮像部である第１撮像部と、前記第１撮像部とは異な
る第２撮像部と、を有していてもよい。
【００２０】
これにより、第１撮像部と第２撮像部についての再投影誤差を求めて、ロボットによる
作業精度の低下の原因を特定すること等が可能になる。
【００２１】
また、本発明の一態様では、前記制御装置は、前記相対位置姿勢関係が特定された後に
、前記マーカー形成動作を前記ロボットに再実行させ、前記マーカー形成動作の再実行後
において、前記第１撮像部から取得される第１撮像画像と、前記第２撮像部から取得され
る第２撮像画像とに基づいて、再投影誤差を求めてもよい。
【００２２】
これにより、再投影誤差に基づいて、第１撮像部及び第２撮像部の相対位置姿勢が変化
しているか否かを判定すること等が可能になる。
【００２３】
また、本発明の一態様では、前記制御装置は、前記再投影誤差に基づいて、前記第１撮
像部及び前記第２撮像部の相対位置姿勢が変化しているか否かを判定してもよい。
【００２４】
これにより、再投影誤差が所与の閾値よりも大きい場合に、第１撮像部及び第２撮像部
の相対位置姿勢が、キャリブレーション時から変化していると判定すること等が可能にな
る。
【００２５】
また、本発明の一態様では、前記制御装置は、前記第１撮像画像における前記マーカー
の位置と、前記第１撮像部のカメラ内部パラメーターと、前記第１撮像画像上の位置から
前記第１撮像部の第１カメラ座標系における位置への位置変換パラメーターと、に基づい
て、前記第１カメラ座標系における前記マーカーの位置を特定し、前記第１カメラ座標系
における前記マーカーの位置と、前記第１カメラ座標系から前記第２撮像部の第２カメラ
座標系へのカメラ間位置変換パラメーターに基づいて、前記第２撮像画像上の前記マーカ
ーの推定位置を推定し、前記第２撮像画像に基づいて、前記第２撮像画像上の前記マーカ
ーの実際の位置を特定し、前記第２撮像画像上の前記マーカーの実際の位置と、前記推定
位置との差である前記再投影誤差を求めてもよい。
【００２６】
これにより、第２撮像画像上で推定されるマーカーの位置と、第２撮像画像上に実際に
映るマーカーの位置との差に基づいて、第１撮像部と第２撮像部との相対位置姿勢が、キ
ャリブレーション時から変化しているか否かを判定すること等が可能になる。
【００２７】
また、本発明の一態様では、前記制御装置は、前記作業台上の前記物体に画像特徴量を
抽出可能な複数のマーカーを、前記ロボットに形成させてもよい。
【００２８】
これにより、キャリブレーションの精度や、作業精度の低下の原因の特定精度を向上さ
せること等が可能になる。
【００２９】
また、本発明の他の態様は、作業台に設けられた物体に対してマーカーを形成するマー
カー形成動作を行い、撮像部により前記マーカーを撮像して得られた撮像画像に基づいて
、ロボットに対する前記撮像部の相対位置姿勢関係を特定するロボットに関係する。
【００３０】
また、本発明の他の態様は、作業台に設けられた物体にマーカーを形成させる動作を、
ロボットに行わせる制御部と、前記マーカーを撮像して得られた撮像画像を、撮像部から
受け付ける画像受付部と、を含み、前記制御部は、前記撮像画像に基づいて、前記ロボッ
トに対する前記撮像部の相対位置姿勢関係を特定する制御装置に関係する。
【００３１】
また、本発明の他の態様は、作業台に設けられた物体にマーカーを形成させる動作を、
ロボットに行わせ、撮像部により前記マーカーを撮像して得られた撮像画像に基づいて、
前記ロボットに対する前記撮像部の相対位置姿勢関係を特定するロボットの制御方法に関
係する。
【００３２】
本発明の幾つかの態様によれば、作業者がロボットの操作に未習熟である場合にも、ロ
ボットと撮像部とのキャリブレーションを行うことができるロボットシステム、ロボット
、制御装置及びロボットの制御方法等を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の他のシステム構成例。
【図３】図３（Ａ）〜図３（Ｄ）は、マーカー形成処理の説明図。
【図４】キャリブレーション処理の流れを説明するフローチャート。
【図５】図５（Ａ）〜図５（Ｃ）は、キャリブレーション処理の説明図。
【図６】精度低下の原因特定処理の流れを説明するフローチャート。
【図７】図７（Ａ）及び図７（Ｂ）は、キャリブレーション前後の撮像画像の説明図。
【図８】図８（Ａ）及び図８（Ｂ）は、再投影誤差の説明図。
【図９】図９（Ａ）、図９（Ｂ）は、ロボットの構成例。
【図１０】ネットワークを介してロボットを制御するロボット制御システムの構成例。
【発明を実施するための形態】
【００３４】
以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の
範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明
される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３５】
１．概要
前述したように、例えば特許文献１の手法によりロボットと撮像部とのキャリブレーシ
ョン（校正）を行う際には、ロボットによってキャリブレーション治具をタッチアップす
る必要がある。タッチアップとは、ロボットのエンドポイントで任意の点に触れること、
言い換えればロボットのエンドポイントを任意の点の上に移動させることである。
【００３６】
そして、その際には、人の手による校正作業が必須である。さらに、ロボットによるキ
ャリブレーション冶具のタッチアップは、ジョグツール等を用いて行われるため、ジョグ
ツールによるロボットの操作に作業者が慣れている必要がある。よって、作業者がロボッ
トの操作に未習熟である場合には、ロボットと撮像部とのキャリブレーションを行うこと
が難しかった。
【００３７】
そこで、以下で説明する本実施形態のロボットシステム等では、作業者がロボットの操
作に未習熟である場合にも、ロボットと撮像部とのキャリブレーションを行うことを可能
にする。
【００３８】
具体的に本実施形態では、例えば図３（Ａ）〜図３（Ｄ）を用いて後述するように、ロ
ボットがエンドエフェクターによりスタンプ等を把持している。そして、キャリブレーシ
ョン時に、作業台に設けられた物体に対して、把持したスタンプをロボットが押し付けて
マーカーを形成する動作を行う。従来は、作業台上の物体にマーカーが事前に設けられて
おり、前述したように、そのマーカー（又はキャリブレーション冶具）にロボットがタッ
チアップすることで、ロボット座標系におけるマーカーの位置を検出し、キャリブレーシ
ョンを行っていた。これに対し、本実施形態では、ロボット自体がマーカー形成作業を行
うため、マーカー形成と同時に、ロボット座標系におけるマーカーの位置を特定すること
ができる。
【００３９】
よって、キャリブレーション時にロボットが、キャリブレーション治具や、あらかじめ
設けられたマーカー等をタッチアップする必要がない。そのため、作業者がジョグツール
を用いてロボットを操作する必要もない。従って、作業者がロボットの操作に未習熟であ
る場合にも、ロボットと撮像部とのキャリブレーションを行うことが可能になる。
【００４０】
また、ロボットと撮像部のキャリブレーション後には、ロボットが撮像部から得られる
撮像画像に基づいて各種作業を行うが、作業を繰り返し行っていくうちに、作業精度が低
下してしまう場合がある。例えば、キャリブレーション直後には、ワークを所定位置に正
確に置くことができていたのに、できなくなった場合等である。
【００４１】
この場合には、作業精度の低下の原因を特定し、その原因を取り除くように対処する必
要がある。例えば、作業精度の低下の原因としては、第１に、ロボット自体のメカ校正情
報が変化したこと、第２に、カメラとロボットの位置関係が変化したこと、などが考えら
れる。さらに、ステレオカメラを用いる場合には、上記の２つの原因に加えて、２台のカ
メラの位置関係が変化したことも挙げられる。
【００４２】
従来、作業精度の低下の原因を特定することは難しかったが、本実施形態では、後述す
る方法によって、作業精度の低下の原因を特定することが可能である。
【００４３】
２．システム構成例
次に、本実施形態のロボットシステム、ロボット及び制御装置１００等の構成例を図１
に示す。
【００４４】
本実施形態のロボットシステムは、ロボットと、制御装置１００とを含む。そして、制
御装置１００は、画像受付部１１０と、制御部１２０と、を含む。ロボットは、駆動機構
３００を含み、駆動機構３００は、エンドエフェクター３１０と、アーム３２０を有する
。また、ロボットシステムは、撮像部２００を含んでいても良い。ただし、ロボットシス
テム、ロボット及び制御装置１００は、図１の構成に限定されず、これらの一部の構成要
素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。さ
らに、ロボットは、図９（Ａ）を用いて後述するように、制御装置１００と別体であって
もよいし、図９（Ｂ）を用いて後述するように、制御装置１００と一体であってもよい。
【００４５】
次に、各部の動作について説明する。
【００４６】
制御部１２０は、作業台に設けられた物体にマーカーを形成するマーカー形成動作をロ
ボットに行わせる。なお、制御部１２０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳ
ＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００４７】
画像受付部１１０は、マーカーを撮像して得られた撮像画像を、撮像部２００から受け
付ける。なお、画像受付部１１０は、撮像部２００からの撮像画像を受け付けるインター
フェース部、或いは、有線及び無線の少なくとも一方を含むネットワークを介して撮像部
２００からの撮像画像を受信する通信部などにより実現できる。
【００４８】
そして、制御部１２０は、撮像画像に基づいて、ロボットに対する撮像部２００の相対
位置姿勢関係を特定する。
【００４９】
詳しい処理の内容は後述するが、本実施形態では前述した通り、キャリブレーション時
にロボットが、キャリブレーション治具や、あらかじめ設けられたマーカー等をタッチア
ップする必要がなく、作業者がジョグツールを用いてロボットを操作する必要もない。従
って、作業者がロボットの操作に未習熟である場合にも、ロボットと撮像部とのキャリブ
レーションを行うことが可能になる。
【００５０】
また、マーカーは、例えばロボットのエンドエフェクター３１０によって把持された把
持物によって形成されるマーカーである。
【００５１】
そのため、ロボットがエンドエフェクター３１０の位置姿勢を制御して、作業台上の物
体に把持物を押し付けること等が可能になる。これにより、ロボットが、作業台上の物体
に対して自在にマーカーを形成すること等が可能になる。
【００５２】
ここで、マーカーとは、目印として利用することができる文字、図形、記号、模様もし
くは立体的形状もしくはこれらの結合又はこれらと色彩との結合を形成する有体物で、物
体に固定可能なものである。
【００５３】
そして、把持物は、例えばスタンプである。把持物がスタンプである場合には、マーカ
ーは、スタンプにより作業台上の物体に転写される印影である。把持物がスタンプである
場合には、ロボットが簡単な手順でマーカーを形成すること等が可能になる。ただし、本
実施形態はそれに限定されず、マーカーは例えばシールやステッカー、ラベル等であって
もよい。なお、マーカーの形状や、色彩、模様等がどのようなものであるかは問わないが
、マーカーを安定して検出する上で、他の領域と区別しやすいもの、例えば白い領域に対
し黒色からなる画像やシールなどが望ましい。さらに、マーカーは、ＱＲ（Quick Respon
se）コードや、ＡＲ（Augmented Reality）マーカーなどであってもよい。
【００５４】
また、制御装置１００は、作業台上の物体に画像特徴量を抽出可能な複数のマーカーを
、ロボットに形成させてもよい。
【００５５】
これにより、キャリブレーションの精度や、作業精度の低下の原因の特定精度を向上さ
せること等が可能になる。
【００５６】
また、ロボットシステムは、図２に示すように、第１撮像部２００と、第１撮像部２０
０とは異なる第２撮像部２５０と、を有していてもよい。つまり、図１を用いて前述した
撮像部２００はステレオカメラであってもよい。
【００５７】
これにより、第１撮像部２００と第２撮像部２５０についての再投影誤差を求めて、ロ
ボットによる作業精度の低下の原因を特定すること等が可能になる。本処理の詳細につい
ては、後述する。
【００５８】
３．キャリブレーション処理の詳細
本実施形態のキャリブレーション処理は、撮像部のカメラ座標系とロボットのロボット
座標系の相対位置姿勢関係を特定する処理である。言い換えれば、カメラ座標系の任意の
位置を、ロボット座標系での位置に変換するための変換パラメーターを正確に特定する処
理である。そして最終的には、撮像画像上の位置からロボット座標系での位置への変換パ
ラメーターを求める。よって、キャリブレーション処理が正常に行われた場合には、撮像
画像の任意の点の位置を、ロボット座標系での位置に正確に変換することができるように
なる。
【００５９】
その際に本実施形態では、制御装置１００が、マーカーの形成時にロボット座標系にお
けるマーカーの位置を特定し、撮像画像に基づいて、カメラ座標系におけるマーカーの位
置を特定する。そして制御装置１００は、ロボット座標系におけるマーカーの位置と、カ
メラ座標系におけるマーカーの位置とに基づいて、ロボットに対する撮像部２００の相対
位置姿勢関係を特定する。
【００６０】
ここで、本キャリブレーション処理において特定するカメラ座標系とロボット座標系と
の相対位置姿勢関係とは、具体的にはカメラ座標系からロボット座標系への変換行列など
を指す。
【００６１】
次に、本実施形態のキャリブレーション処理の詳細な流れについて、図３（Ａ）〜図３
（Ｄ）、図４のフローチャート及び図５（Ａ）〜図５（Ｃ）を用いて説明する。図３（Ａ
）〜図３（Ｄ）の例では、第１撮像部ＣＭ１と第２撮像部ＣＭ２を用いて、ロボットＲＢ
の作業状況を撮像するものとする。また、キャリブレーション後には、例えばロボットＲ
Ｂにより不図示のワークを把持して、把持したワークを作業台ＷＡ上に移動させる作業を
行うものとする。
【００６２】
まず、図３（Ａ）に示すように、後にワークが置かれる予定の作業台ＷＡ上に紙ＰＰを
置く。なお、作業台ＷＡ上に置く物体は紙ＰＰ以外の物であってもよい。また、ロボット
ＲＢにはあらかじめ、作業台ＷＡまでの距離情報を記憶させておく。ただし、例えばロボ
ットのハンドが力覚センサーを有している等、ロボットＲＢのハンド等が作業台に触れた
ことを検知可能な場合には、作業台までの距離情報を記憶させておかなくてもよい。
【００６３】
次に、図３（Ｂ）に示すように、ロボットＲＢの手先位置、あるいはその付近にスタン
プを持たせて固定する。
【００６４】
そして、図３（Ｃ）に示すように、紙ＰＰの上に３点以上、スタンプをロボットＲＢに
押させて、３つのマーカーＭＫを形成する（図４のＳ１０１）。なお、スタンプを押す位
置は、紙ＰＰの上であれば、どの位置でもよい。
【００６５】
そして、制御装置１００は、ロボット座標系においてスタンプを押下した位置（マーカ
ー位置）を計算し、不図示の記憶部に記憶する（Ｓ１０２）。なお、ロボット座標系にお
けるマーカー位置は、アームのジョイント角、リンク長、スタンプの長さから計算可能で
ある。
【００６６】
次にスタンプの押下終了後に、図３（Ｄ）に示すように、第１撮像部ＣＭ１と第２撮像
部ＣＭ２により、３つのマーカーＭＫを撮像して、制御装置１００が二枚の撮像画像を取
得する（Ｓ１０３）。なお、以下では、第１撮像部ＣＭ１により撮像された撮像画像を第
１撮像画像、第２撮像部ＣＭ２により撮像された撮像画像を第２撮像画像、第１撮像部Ｃ
Ｍ１についてのカメラ座標系を第１カメラ座標系、第２撮像部ＣＭ２についてのカメラ座
標系を第２カメラ座標系と呼ぶ。
【００６７】
そして、制御装置１００は、図５（Ａ）に示すように、第１撮像部ＣＭ１のカメラ内部
パラメーターに基づいて、第１撮像画像ＩＭ１上のマーカー位置を、第１カメラ座標系Ｃ
Ｃ１における位置に変換する（Ｓ１０４）。ここでは、例えば、第１撮像画像ＩＭ１に映
る点Ｂの位置を、第１カメラ座標系ＣＣ１における位置Ｃ１２Ｂに変換する。また、カメ
ラ内部パラメーターとは、焦点距離や画像の中心点（言い換えれば、撮像センサーの中心
点）などのパラメーターのことである。そして、図５（Ａ）に示す、第１撮像画像ＩＭ１
上の位置から第１カメラ座標系ＣＣ１での位置Ｃ１２Ｂへの変換パラメーターＤ１は、カ
メラ内部パラメーターに基づいて求められる。
【００６８】
また、第２撮像部ＣＭ２についても同様に位置変換処理を行う（Ｓ１０５）。これによ
り、第１カメラ座標系及び第２カメラ座標系におけるマーカー位置を特定することができ
る。
【００６９】
次に、図５（Ｂ）に示すように、制御装置１００は、ロボット座標系ＲＣのマーカーの
位置Ｒ２Ｂと、第１カメラ座標系ＣＣ１のマーカーの位置Ｃ１２Ｂに基づいて、第１撮像
部ＣＭ１の外部パラメーターのキャリブレーションを行う（Ｓ１０６）。ここで、外部パ
ラメーターとは、ロボット座標系ＲＣの原点の位置を、第１カメラ座標系ＣＣ１の原点の
位置に変換（又は逆変換）するために用いる位置変換パラメーターである。外部パラメー
ターは、例えば回転行列と並進行列等により表される。つまり、ステップＳ１０６では、
ロボット座標系ＲＣのマーカーの位置Ｒ２Ｂと、第１カメラ座標系ＣＣ１のマーカーの位
置Ｃ１２Ｂを、Ｄ２で示すように変換する外部パラメーターが正確な値に校正される。
【００７０】
同様にして、制御装置１００は、ロボット座標系のマーカーの位置と、第２カメラ座標
系のマーカーの位置に基づいて、第２撮像部ＣＭ２の外部パラメーターのキャリブレーシ
ョンを行う（Ｓ１０７）。
【００７１】
その後に、第１撮像部ＣＭ１についての外部パラメーターと、第２撮像部ＣＭ２につい
ての外部パラメーターに基づいて、ステレオパラメーターのキャリブレーションを行って
（Ｓ１０８）、処理を終了する。ここで、ステレオパラメーターとは、２つのカメラを用
いて三角測量の原理で３次元位置を求めるためのパラメーターである。ステレオパラメー
ターは、第１撮像部ＣＭ１のカメラ内部パラメーターと、第２撮像部ＣＭ２のカメラ内部
パラメーター、カメラ間の位置変換パラメーターを含む。正確に校正されたステレオパラ
メーターを用いれば、２枚の撮像画像に映った特定の点を、ロボット座標系ＲＢにおける
位置に変換することができる。例えば、図５（Ｃ）に示すように、第１撮像画像ＩＭ１と
第２撮像画像ＩＭ２に映る点Ｂの位置から、Ｄ３で示すように、ロボット座標系ＲＣにお
ける位置Ｒ２Ｂを求めることができる。
【００７２】
また、ステレオパラメーターを用いれば、図５（Ｃ）のＤ４の矢印で示すように、片方
の撮像画像（ＩＭ１）に映った点（Ｂ）の位置が他方の撮像画像（ＩＭ２）ではどこに映
るかも計算することができる。
【００７３】
これにより、撮像画像上のマーカー位置から、ロボット座標系におけるマーカー位置を
求めること等が可能になる。また、特別な校正治具等を用いずにカメラとロボットの校正
を自動化すること等が可能になる。
【００７４】
ただし、本実施形態のキャリブレーション処理は、図４のフローチャートに示す流れに
限定されず、一部の処理内容を変更したり、処理の順序を入れ替えたりするなどの種々の
変形実施が可能である。例えば、上記のステップＳ１０８では、２つの外部パラメーター
からステレオパラメーターを求めたが、外部パラメーターからではなく、撮像画像上のマ
ーカー位置と、ロボット座標系での各マーカー位置に基づいて、ステレオパラメーターを
求めることも可能である。さらに、他にも撮像画像上のマーカー位置と、マーカー座標系
での各マーカー位置に基づいて、ステレオパラメーターを求めることも可能である。
【００７５】
４．作業精度低下の原因特定処理の詳細
前述したように、ロボットと撮像部のキャリブレーション後には、ロボットが撮像部か
ら得られる撮像画像に基づいて各種作業を行うが、作業を繰り返し行っていくうちに、作
業精度が低下してしまう場合がある。本実施形態では、図６のフローチャートに示す処理
を行うことによって、キャリブレーション後の作業精度の低下の原因を特定する。
【００７６】
まず、キャリブレーション時と同じ様に作業台に紙を置き、ロボットにスタンプを持た
せ、キャリブレーション時と同じ姿勢でスタンプを押下する（Ｓ２０１）。
【００７７】
次に、制御装置１００が、押下したスタンプとスタンプの間の距離がキャリブレーショ
ン時と同じか否かを判定する（Ｓ２０２）。
【００７８】
例えば、図７（Ａ）及び図７（Ｂ）にその一例を示す。図７（Ａ）には、キャリブレー
ション時の（第１）撮像画像ＢＩＭを、図７（Ｂ）には、ステップＳ２０１において取得
した（第１）撮像画像ＡＩＭを示す。撮像画像ＢＩＭには、マーカーＡ１及びマーカーＢ
１が、Δ１の間隔で形成されている様子が映っている。これに対し、撮像画像ＡＩＭには
、マーカーＡ１に対応するマーカーＡ２と、マーカーＢ１に対応するマーカーＢ２とが、
Δ１よりも大きいΔ２の間隔で形成されている様子が映っている。すなわち、図７（Ａ）
及び図７（Ｂ）の例では、押下したスタンプとスタンプの間の距離がキャリブレーション
時と違っていると判定できる。なお、この判定では、所定の誤差範囲を設けて、スタンプ
間の距離が所定の誤差範囲内か否かを判定し、所定の誤差範囲内であれば、キャリブレー
ション時と同じであると判定し、所定の誤差範囲外であれば、キャリブレーション時と異
なると判定してもよい。
【００７９】
そして、制御装置１００が、押下したスタンプとスタンプの間の距離がキャリブレーシ
ョン時と著しく違っていると判定した場合には、メカ校正情報が変化していると判定する
（Ｓ２０３）。
【００８０】
一方、制御装置１００が、押下したスタンプとスタンプの間の距離がキャリブレーショ
ン時と同じであると判定した場合には、ステップＳ２０１において押下したスタンプの撮
像画像上での位置を算出し、再投影誤差を求める。なお、再投影誤差については、後に詳
しく説明する。
【００８１】
そして、制御装置１００は、算出した再投影誤差が、所定の誤差範囲内か否かを判定し
、所定の誤差範囲外であれば、２台のカメラ間の位置関係が変化していると判定する（Ｓ
２０５）。
【００８２】
一方、制御装置１００は、算出した再投影誤差が所定の誤差範囲内であると判定した場
合には、カメラとロボットとの位置関係が変化していると判定する（Ｓ２０６）。
【００８３】
以上の処理を行うことによって、作業精度の低下の原因が、ロボット自体のメカ校正情
報が変化したことであるか、カメラとロボットの位置関係が変化したことであるか、又は
２台のカメラの位置関係が変化したことであるかを判別することが可能となる。その結果
、ロボットのビジョンを用いた作業に置いて、精度低下した際に再校正が必要なパラメー
ターを容易に特定することができる。
【００８４】
ここで、作業精度低下の原因特定処理についてまとめる。まず、作業精度とは、ロボッ
トによる同一の作業又は先に行った作業と対応する作業の再現性の高さのことをいう。例
えば、作業台上の任意の点を繰り返しタッチアップする作業を行う場合には、同一の点を
タッチアップできている時には、作業精度の再現性は高いと判断できる。一方、ロボット
がタッチアップする点と元の点のずれが大きくなった場合には、ずれに応じて、作業精度
の再現性は低くなる。
【００８５】
また、本実施形態で行う作業は全く同一の作業でなくてもよく、先に行った作業と対応
する作業であればよい。例えば、ロボットがワークをピックアップする作業を行う場合に
は、各ワークが置かれている位置はそれぞれ異なるが、作業内容自体は同様である。つま
り、この作業は、先に行った作業と対応する作業であると言える。この場合には、ワーク
を正常にピックアップできている場合には、作業精度が高く、ワークを正常にピックアッ
プできなくなれば、作業精度が低いと判断することができる。
【００８６】
そして、本実施形態では、制御装置１００が、前述したロボットに対する撮像部の相対
位置姿勢関係が特定された後に、マーカー形成動作をロボットに再実行させる。
【００８７】
これにより、キャリブレーション時と同じマーカー形成動作をロボットが行うことがで
きるか否かを検証すること等が可能になる。
【００８８】
また、制御装置１００は、相対位置姿勢関係が特定された後、ロボットによる作業の精
度が低下した場合に、マーカー形成動作をロボットに再実行させ、マーカー形成動作の再
実行後に撮像部２００から得られた撮像画像に基づいて、作業の精度低下要因を特定して
もよい。
【００８９】
これにより、前述したように、作業精度の低下要因が、例えばロボット自体のメカ校正
情報が変化したことであるか、カメラとロボットの位置関係が変化したことであるか、又
は２台のカメラの位置関係が変化したことであるかを判別すること等が可能となる。
【００９０】
また、制御装置１００は、相対位置姿勢関係が特定された後に、マーカー形成動作をロ
ボットに再実行させ、マーカー形成動作の再実行後において、第１撮像部２００から取得
される第１撮像画像と、第２撮像部２５０から取得される第２撮像画像とに基づいて、再
投影誤差を求めてもよい。
【００９１】
これにより、制御装置１００は、再投影誤差に基づいて、第１撮像部２００及び第２撮
像部２５０の相対位置姿勢が変化しているか否かを判定すること等が可能になる。例えば
、再投影誤差が所与の閾値よりも大きい場合に、第１撮像部及び第２撮像部の相対位置姿
勢が、キャリブレーション時から変化していると判定すること等が可能になる。そして、
第１撮像部２００及び第２撮像部２５０の相対位置姿勢が変化していると判定した場合に
は、第１撮像部２００及び第２撮像部２５０の位置姿勢をキャリブレーション時と同じ位
置姿勢になるように調整すること等が可能になる。
【００９２】
さらに、再投影誤差に基づいて、ロボットと撮像部の相対位置姿勢がキャリブレーショ
ン時と変化しているか否かも判定することができる。
【００９３】
ここで、再投影誤差とは、第１撮像部２００で取得したマーカーの画像位置、第１撮像
部２００のカメラ内部パラメーター及びカメラ間位置変換パラメーターに基づいて計算さ
れた第２撮像画像上のマーカーの画像位置と、実際に第２撮像部で取得したマーカーの画
像位置との誤差である。簡潔に言い換えれば、再投影誤差とは、第２撮像画像上でのマー
カーの推定位置と、実際の画像上の位置との差である。なお、この再投影誤差の説明にお
いて、第１撮像部２００と第２撮像部２５０を入れ替えても良い。
【００９４】
すなわち、制御装置１００は、第１撮像画像におけるマーカーの位置と、第１撮像部２
００のカメラ内部パラメーターと、第１撮像画像上の位置から第１撮像部２００の第１カ
メラ座標系における位置への位置変換パラメーターと、に基づいて、第１カメラ座標系に
おけるマーカーの位置を特定する。そして、制御装置１００は、第１カメラ座標系におけ
るマーカーの位置と、第１カメラ座標系から第２撮像部２５０の第２カメラ座標系へのカ
メラ間位置変換パラメーターに基づいて、第２撮像画像上のマーカーの推定位置を推定す
る。最後に、制御装置１００は、第２撮像画像に基づいて、第２撮像画像上のマーカーの
実際の位置を特定し、第２撮像画像上のマーカーの実際の位置と、推定位置との差である
再投影誤差を求める。
【００９５】
例えば、図８（Ａ）及び図８（Ｂ）にその一例を示す。図８（Ａ）には第１撮像画像Ｉ
Ｍ１を、図８（Ｂ）には、実際に第２撮像部２５０により撮像されて取得された第２撮像
画像ＩＭ２を示す。第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２には、マーカーＡ１及び
マーカーＢ１が形成されている様子が映っている。ただし、第１撮像画像ＩＭ１及び第２
撮像画像ＩＭ２では、２台の撮像部の位置姿勢が違うために、マーカーＡ１及びマーカー
Ｂ１が映っている位置が互いにずれている。さらに、図８（Ｂ）の第２撮像画像ＩＭ２に
は、第１撮像画像ＩＭ１におけるマーカーＡ１及びマーカーＢ１の位置と、カメラ内部パ
ラメーター及びカメラ間位置変換パラメーターに基づいて推定したマーカーＡ２及びマー
カーＢ２を重ねて図示している。図８（Ｂ）において、マーカーＡ１とマーカーＡ２の位
置、マーカーＢ１とマーカーＢ２の位置は、それぞれ同じマーカーの位置を示すものであ
るが、マーカーＡ２及びマーカーＢ２の位置は各種パラメーターに基づいて推定されたも
のであり、実際のマーカー位置とは異なる場合がある。本来であれば、第２撮像画像上で
、推定されたマーカー位置と実際に映るマーカー位置が一致すれば良いが、図８（Ｂ）の
例では、不一致であるため、再投影誤差があることになる。この場合には、第１撮像部２
００と第２撮像部２５０との相対位置姿勢が、キャリブレーション時から変化していると
判定することができる。
【００９６】
このように、第２撮像画像上で推定されるマーカーの位置と、第２撮像画像上に実際に
映るマーカーの位置との差（再投影誤差）に基づいて、第１撮像部２００と第２撮像部２
５０との相対位置姿勢が、キャリブレーション時から変化しているか否かを判定すること
等が可能になる。なお、キャリブレーション時と、ステップＳ２０１で映ったマーカーの
画像位置が違っていても、２台のカメラ間の距離が同じであれば再投影誤差も同様の値が
得られる。
【００９７】
５．ロボット
次に、図９（Ａ）及び図９（Ｂ）に、本実施形態のロボットの構成例を示す。図９（Ａ
）及び図９（Ｂ）のどちらの場合にも、ロボット機構（駆動機構）３００は、エンドエフ
ェクター（ハンド）３１０と、アーム３２０と、を有する。なお、図９（Ａ）のロボット
は単腕型の例であるが、図９（Ｂ）に示すようにロボットは、双腕型等の多腕型のロボッ
トであってもよい。
【００９８】
ここで、エンドエフェクター３１０とは、ワーク（作業対象物）を把持したり、持ち上
げたり、吊り上げたり、吸着させたり、ワークに加工を施したりするために、アームのエ
ンドポイントに取り付ける部品のことをいう。エンドエフェクター３１０は、例えばハン
ド（把持部）であってもよいし、フックであってもよいし、吸盤であってもよいし、ドラ
イバー等であってもよい。さらに、１本のアームに対して、複数のエンドエフェクターを
設けても良い。
【００９９】
また、アーム３２０とは、ロボット機構３００のパーツであって、一つ以上の関節を含
む可動パーツのことをいう。
【０１００】
また、本実施形態では、第１撮像部２００と第２撮像部２５０が、ロボットの外部に設
けられている。
【０１０１】
そして、本実施形態のロボットは、図９（Ａ）に示すように、ロボット機構３００と制
御装置１００とが別体に構成されている。この場合には、制御装置１００の一部又は全部
の機能は、例えばＰＣ（Personal Computer）により実現される。
【０１０２】
また、本実施形態のロボットは図９（Ａ）の構成に限定されず、図９（Ｂ）のようにロ
ボット機構３００と制御装置１００とが一体に構成されていてもよい。具体的には図９（
Ｂ）に示したように、ロボットは、ロボット機構３００及びロボット機構３００を支える
ベースユニット部３５０を有し、当該ベースユニット部３５０に制御装置１００が格納さ
れるものであってもよい。図９（Ｂ）に示すロボットのベースユニット部３５０には、車
輪３７０等が設けられ、ロボット全体が移動可能な構成となっている。また、ロボットは
、人手により移動させられるものであってもよいし、車輪３７０を駆動させるモーターを
設け、当該モーターを制御装置１００により制御することにより、移動させられるもので
あってもよい。また、制御装置１００は、図９（Ｂ）のようにロボット機構３００の下に
設けられたベースユニット部３５０に設けられるとは限られない。
【０１０３】
また、図１０に示すように、制御装置１００の機能は、有線及び無線の少なくとも一方
を含むネットワーク４００を介して、ロボット機構３００と通信接続されたサーバー５０
０により実現されてもよい。
【０１０４】
或いは本実施形態では、本発明の制御装置の処理の一部を、サーバー５００の制御装置
が行ってもよい。この場合には、ロボット機構３００に設けられた制御装置との分散処理
により、当該処理を実現する。なお、ロボット機構３００の制御装置は、例えばロボット
機構３００に設置される端末装置３３０（制御部）により実現される。
【０１０５】
そして、この場合に、サーバー５００の制御装置は、本発明の制御装置における各処理
のうち、サーバー５００の制御装置に割り当てられた処理を行う。一方、ロボット機構３
００に設けられた制御装置は、本発明の制御装置の各処理のうち、ロボット機構３００の
制御装置に割り当てられた処理を行う。なお、本発明の制御装置の各処理は、サーバー５
００に割り当てられた処理であってもよいし、ロボット機構３００に割り当てられた処理
であってもよい。
【０１０６】
これにより、例えば端末装置３３０よりも処理能力の高いサーバー５００が、処理量の
多い処理を行うこと等が可能になる。さらに、例えばサーバー５００が各ロボットの動作
を一括して制御することができ、複数のロボットに協調動作をさせること等が容易になる
。
【０１０７】
また近年は、多品種少数の部品を製造することが増えてきている。そして、製造する部
品の種類を変更する場合には、ロボットが行う動作を変更する必要がある。図１０に示す
ような構成であれば、複数のロボットの各ロボットへ教示作業をし直さなくても、サーバ
ー５００が一括して、各ロボットが行う動作を変更すること等が可能になる。
【０１０８】
さらに、図１０に示すような構成であれば、各ロボットに対して一つの制御装置１００
を設ける場合に比べて、制御装置１００のソフトウェアアップデートを行う際の手間を大
幅に減らすこと等が可能になる。
【０１０９】
なお、本実施形態のロボットシステム、ロボット及び制御装置等は、その処理の一部ま
たは大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサー
がプログラムを実行することで、本実施形態のロボットシステム、ロボット及び制御装置
等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出
され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶
装置（コンピューターにより読み取り可能な装置）は、プログラムやデータなどを格納す
るものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクド
ライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そし
て、ＣＰＵ等のプロセッサーは、情報記憶装置に格納されるプログラム（データ）に基づ
いて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部として
コンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプ
ログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１１０】
また、本実施形態のロボットシステム、ロボット及び制御装置等は、プロセッサーとメ
モリーを含んでも良い。ここでのプロセッサーは、例えばＣＰＵ（Central Processing U
nit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰ
Ｕ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種
プロセッサーを用いることが可能である。また、プロセッサーはＡＳＩＣ（Application 
Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリーはコ
ンピューターにより読み取り可能な命令を格納するものであり、当該命令がプロセッサー
により実行されることで、本実施形態に係るロボットシステム、ロボット及び制御装置等
の各部が実現されることになる。ここでのメモリーは、ＳＲＡＭ（Static Random Access
Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであって
もよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラム
を構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して操作
を指示する命令であってもよい。
【０１１１】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から
実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう
。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細
書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載され
た用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えること
ができる。また、ロボットシステム、ロボット、制御装置及びロボットの制御方法の構成
、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１２】
１００  制御装置、１１０  画像受付部、１２０  制御部、２００  第１撮像部、
２５０  第２撮像部、３００  駆動機構（ロボット機構）、３１０  エンドエフェクター
、
３２０  アーム、３３０  端末装置、３５０  ベースユニット部、３７０  車輪、
４００  ネットワーク、５００  サーバー
【図１】
2016078195.tif 000003
【図２】
2016078195.tif 000004
【図４】
2016078195.tif 000005
【図５】
2016078195.tif 000006
【図６】
2016078195.tif 000007
【図７】
2016078195.tif 000008
【図８】
2016078195.tif 000009
【図９】
2016078195.tif 000010
【図１０】
2016078195.tif 000011
【図３】
2016078195.tif 000012