(57)【特許請求の範囲】
【請求項１】
カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体を基に、又は、前記画像計測装置の視野内に固定した識別の容易なマーク物体を基に、又は、前記画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体を基に、又は、ロボットアームに取り付けられたマーク物体を基に、又は、作業者側で適切に設置した基準部品を基に基準物体系（ΣS）を設定する基準座標系設定部と、
前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（ΣV）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（ΣV'）として設定するビジョン系設定部と、
前記ビジョン系設定部により設定された前記新ビジョン系（ΣV'）から前記基準座標系設定部により設定された前記基準物体系（ΣS）への座標変換（ＴV'S）を計算する座標変換データ計算部と、
前記座標変換データ計算部により求められた前記座標変換（ＴV'S）の逆変換（ＴV'S-1）と前記旧ビジョン系（ΣV）から前記基準物体系（ΣS）への座標変換（ＴVS）とに基づいて、前記旧ビジョン系（ΣV）から前記新ビジョン系（ΣV'）への座標変換（ＴVV'）を計算する較正座標変換データ計算部と、
前記較正座標変換データ計算部により求められた前記座標変換（ＴVV'）、その逆変換（ＴVV'-1）、ロボットアーム装置の座標系であるロボット系（ΣR）から前記旧ビジョン系（ΣV）への座標変換（ＴRV）及び前記旧ビジョン系（ΣV）からハンドの対象である物体の座標系であるハンド系（ΣH）への座標変換（ＴVH）に基づいて、前記ロボット系（ΣR）から前記新ビジョン系（ΣV'）への座標変換（ＴRV'）及び前記新ビジョン系（ΣV'）から前記ハンド系（ΣH）への座標変換（ＴV'H）をそれぞれ求める装置位置関係データ較正部と、
前記較正座標変換データ計算部により求められた前記座標変換（ＴVV'）の逆変換（ＴVV'-1）に基づき、前記旧ビジョン系（ΣV）を基準にした部品モデルデータの点（ｐV）を前記新ビジョン系（ΣV'）を基準にした部品モデルデータの点（ｐV'）へ変換する部品モデルデータ較正部と、
を備えることを特徴とする位置データ較正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、いわゆるロボットシステムにおける位置データ較正装置に関する。特に、ビンピッキングシステムにあって、必要な各装置の位置関係及び部品検出に必要な位置データを較正する手段を提供するものである。
【０００２】
【従来の技術】
ビンピッキングシステムは箱の中に投入された対象部品の位置姿勢を画像計測装置で検出し、その情報を元にロボットアームで対象部品をハンドリングするシステムである。この場合、対象部品の位置検出方法としてモデルベーストマッチング法があり、部品のモデル作製方法としても種々の提案がある。
また、ハンドリングの際必要な、ロボットアーム装置と画像計測装置との相対関係を求める方法としても従来より様々な提案がある。
【０００３】
【発明が解決しようとする課題】
ビンピッキングシステムを正しく動作させるためには、対象部品の位置検出やハンドリングデータを計算するために必要な各装置の位置関係が既知であり、またその位置関係が正しく保たれていなければならない。
【０００４】
しかしながら、カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合は、カメラの位置やそれに伴う画像計測装置の座標系が変わるため、今までのデータを全て新しく作り直す必要がある。
またカメラ取付部の経年変化によりカメラの位置姿勢にズレが生じた場合、対象部品の検出位置姿勢が実体の位置姿勢と異なるため、システムの動作に不具合が生じる。
【０００５】
本発明は、上述の問題を解決し座標系が変っても、データの作り直しの手間が要らず、またシステムの作動に不具合とならない位置データ較正装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上述の目的を達成する位置デ−タ較正装置は、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体を基に、又は、前記画像計測装置の視野内に固定した識別の容易なマーク物体を基に、又は、前記画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体を基に、又は、ロボットアームに取り付けられたマーク物体を基に、又は、作業者側で適切に設置した基準部品を基に基準物体系（ΣS）を設定する基準座標系設定部と、前記画像計測装置を寿命又は破損等で交換する前の今までの座標系を旧ビジョン系（ΣV）とし、前記画像計測装置を交換した後の新たな座標系を新ビジョン系（ΣV'）として設定するビジョン系設定部と、前記ビジョン系設定部により設定された前記新ビジョン系（ΣV'）から前記基準座標系設定部により設定された前記基準物体系（ΣS）への座標変換（ＴV'S）を計算する座標変換データ計算部と、前記座標変換データ計算部により求められた前記座標変換（ＴV'S）の逆変換（ＴV'S-1）と前記旧ビジョン系（ΣV）から前記基準物体系（ΣS）への座標変換（ＴVS）とに基づいて、前記旧ビジョン系（ΣV）から前記新ビジョン系（ΣV'）への座標変換（ＴVV'）を計算する較正座標変換データ計算部と、前記較正座標変換データ計算部により求められた前記座標変換（ＴVV'）、その逆変換（ＴVV'-1）、ロボットアーム装置の座標系であるロボット系（ΣR）から前記旧ビジョン系（ΣV）への座標変換（ＴRV）及び前記旧ビジョン系（ΣV）からハンドの対象である物体の座標系であるハンド系（ΣH）への座標変換（ＴVH）に基づいて、前記ロボット系（ΣR）から前記新ビジョン系（ΣV'）への座標変換（ＴRV'）及び前記新ビジョン系（ΣV'）から前記ハンド系（ΣH）への座標変換（ＴV'H）をそれぞれ求める装置位置関係データ較正部と、前記較正座標変換データ計算部により求められた前記座標変換（ＴVV'）の逆変換（ＴVV'-1）に基づき、前記旧ビジョン系（ΣV）を基準にした部品モデルデータの点（ｐV）を前記新ビジョン系（ΣV'）を基準にした部品モデルデータの点（ｐV'）へ変換する部品モデルデータ較正部と、を備えることを特徴とする。したがって、カメラ等の画像計測装置の視野内に存在する位置が変化しない背景物体、画像計測装置の視野内に固定した識別の容易なマーク物体、画像計測装置の視野内に用意しておいたジグによって位置精度良く取付けたマーク物体、ロボットアームに取り付けられたマーク物体、作業者側で適切に設置した基準部品（以下、これらの背景物体、マーク物体及び基準部品を総称して基準物体と言う）を基に基準物体系を設定するため、基準物体系を設定するための特別な装置を用意する必要がなく、簡素なシステムを構成でき、装置のコストを小さくすることができるメリットがある。
【００１１】
〔作用〕
本発明は、カメラ等の画像計測装置の交換やその取付部の経年変化によりその位置姿勢が変化した場合でも、例えばビンピッキング作業前にデータ較正を行うことにより、ビンピッキングシステムの動作に必要な位置関係データや部品データを全て新しく作り直すことなく、ビンピッキング装置を正常に動作させることができる。
【００１２】
【発明の実施の形態】
（１）基本的な考え方
本発明の目的は例えばビンピッキングシステムに必要な各装置の位置関係及び部品検出に必要な位置データを較正することである。
カメラの位置姿勢が変化した場合、それに伴い画像計測装置の新しい座標系を設定する必要がある。
【００１３】
この時画像計測装置の今までの座標系と新しく設定した座標系の位置関係が検出できれば、その位置関係データを用いて各装置の位置関係データや部品検出に必要な部品データを新しく設定した画像計測装置の座標系を基にしたデータへ変換することができる。
そこで、本発明では画像計測装置の画面内に入る位置の動かない基準物体における座標系を考え、その基準物体の座標系を介することで、画像計測装置の今までの座標系と新しく設定した座標系の位置関係を求める。
【００１４】
（２）各装置の座標系と相対関係
図１の様に各座標系を設定する。
ここで各座標系は次のものである。
ΣV ：旧ビジョン系（画像計測装置の今までの座標系）
ΣV'：新ビジョン系（画像計測装置の新しく設定した座標系）
ΣR ：ロボット系（ロボットアーム装置の座標系）
ΣH ：ハンド系（ハンドの対象物体ハンドリング時の座標系）
ΣS ：基準物体系（基準物体の座標系）
【００１５】
各装置間の位置関係はその装置の座標系から別の装置の座標系への座標変換データとして求められる。
ＴRV：ロボット系ΣR から旧ビジョン系ΣV への座標変換
ＴVH：旧ビジョン系ΣV からハンド系ΣH への座標変換
ＴVS：旧ビジョン系ΣV から基準物体系ΣS への座標変換
ＴRV' ：ロボット系ΣR から新ビジョン系ΣV'への座標変換
ＴV'H ：新ビジョン系ΣV'からハンド系ΣH への座標変換
ＴV'S ：新ビジョン系ΣV'から基準物体系ΣS への座標変換
ＴVV' ：旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換
【００１６】
（３）較正座標変換データの計算
データ較正に必要な、変換データは旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換データＴVV' である。これは旧ビジョン系ΣV から基準物体系への座標変換及び新ビジョン系ΣV'から基準物体系への座標変換により次の式１のように計算できる。
ＴVV' ＝ＴVSＴV'S-1                         ・・・（１）
【００１７】
（４）装置位置関係の較正
ロボット系ΣR と新ビジョン系ΣV'の位置関係は較正座標変換データと今までの位置関係より次式２のように計算できる。
ＴRV' ＝ＴRVＴVV'                           ・・・（２）
新ビジョン系ΣV'とハンド系ΣH の位置関係は較正座標変換データと今までの位置関係より次式３のように計算できる。
ＴV'H ＝ＴVV'-1ＴVH                         ・・・（３）
【００１８】
（５）部品モデルデータの較正
部品の三次元形状モデルは三次元的な直線特徴や曲線特徴で構成され、それらの三次元データはビジョン系を基にした特徴上の点の三次元位置データである。
そこで部品の三次元形状モデルの較正は、モデルを構成する点位置データの旧ビジョン系ΣV から新ビジョン系ΣV'への座標変換で行うことができる。
旧ビジョン系ΣV を基準にした点ｐV は新ビジョン系ΣV'を基準にした点ｐV'へ次式４のように変換される。
【００１９】
ｐV'＝ＴVV'-1ｐV                            ・・・（４）
こうして変換した三次元形状モデルの点を再構成することで、部品の三次元形状モデルの較正を行うことができる。
新ビジョン系ΣV'を基にした三次元形状モデルが計算されれば、カメラの新しい位置姿勢においての見え方モデルであるイメージ上の二次元形状モデルは、三次元形状モデルのカメラのイメージ平面への透視変換によって較正することができる。
【００２０】
（６）基準物体系の設定
(6.1)  背景物体による基準物体系の設定
カメラの視野内にベルトコンベアや作業台といった位置が変化しない物体が存在する場合は図２のように背景物体を基準物体とし、基準物体系を設定することができる。
【００２１】
(6.2)  固定マーク物体による基準物体系の設定
カメラ視野内に位置が変化しない固定マーク物体を設置できる場合は、図３のように固定マーク物体を基準物体とし、基準物体系を設定することができる。
【００２２】
(6.3)  取付マーク物体による基準物体系の設定
装置に常時取り付けてはいないが、較正作業の際何らかのジグによって取付マークを設置できる場合は、図４のように取付マーク物体を基準物体とし、基準物体系を設定することができる。
【００２３】
(6.4)  ロボットアームに取り付けたマーク物体による基準物体系の設定
ロボットアームにマーク物体を取り付けることができる場合は、図５のようにそのマーク物体を基準物体とし、基準物体系を設定することができる。
【００２４】
(6.5)  基準部品による基準物体系の設定
較正作業用に基準部品として選んだ部品を、ロボットアーム等を用いて同一の位置に設置できる場合は、図６のようにその基準部品を基準物体とし、基準物体系を設定することができる。
【００２５】
（７）位置データの較正方法
(7.1)  背景物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図７に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼  画像計測装置の新ビジョン系の設定を行う。
▲２▼  背景物体を基に基準物体系を設定する。
▲３▼  新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼  前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼  較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼  較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２６】
(7.2)  固定マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図８に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼  画像計測装置の新ビジョン系の設定を行う。
▲２▼  固定マーク物体を基に基準物体系を設定する。
▲３▼  新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼  前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼  較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼  較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２７】
(7.3)  取付マーク物体による基準物体系の設定
カメラの位置姿勢が変化した場合、図９に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼  画像計測装置の新ビジョン系の設定を行う。
▲２▼  取付マーク物体を基に基準物体系を設定する。
▲３▼  新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼  前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼  較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼  較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２８】
(7.4)  ロボットアームに取り付けたマーク物体による位置データ較正方法
カメラの位置姿勢が変化した場合、図１０に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼  画像計測装置の新ビジョン系の設定を行う。
▲２▼  ロボットアームに取り付けたマーク物体を基に基準物体系を設定する。
▲３▼  新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼  前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼  較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼  較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００２９】
(7.5)  基準部品による位置データ較正方法
カメラの位置姿勢が変化した場合、図１１に示すフローチャートに従い、次の手順でビンピッキングシステムの位置データを較正する。
▲１▼  画像計測装置の新ビジョン系の設定を行う。
▲２▼  基準部品を基に基準物体系を設定する。
▲３▼  新ビジョン系から基準物体系への座標変換データＴV'S を計算する。
▲４▼  前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと▲３▼で計算した新ビジョン系から基準物体系への座標変換データＴV'S を用いて較正座標変換データＴVV' を計算する。
▲５▼  較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正する。
▲６▼  較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正する。
【００３０】
【実施例】
＜実施例１＞
本発明による第１の実施例に係る背景物体による位置データ較正装置の例を図１２に示す。
この装置は、画像計測装置の新ビジョン系ΣV'の設定を行い、背景物体を基に基準物体系ΣS を設定し、新ビジョン系から基準物体系への座標変換データＴV'S を計算し、前回の位置データ較正で計算しておいた旧ビジョン系から基準物体系への座標変換データＴVSと新たに計算した新ビジョン系から基準物体系への座標変換データを用いて較正座標変換データＴVV' を計算し、較正座標変換データと今までの装置位置関係データを用いて装置位置関係データを較正し、較正座標変換データと今までの部品モデルデータを用いて部品モデルデータを較正することで、ビンピッキングシステムに必要な位置データを較正する。
【００３１】
＜実施例２＞
本発明による第２の実施例に係る固定マーク物体による位置データ較正装置の例を図１３に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに固定マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３２】
＜実施例３＞
本発明による第３の実施例に係る取付マーク物体による位置データ較正装置の例を図１４に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに取付マーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３３】
＜実施例４＞
本発明による第４の実施例に係るロボットアームに取り付けたマーク物体による位置データ較正装置の例を図１５に示す。
この装置は、上記第１の実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりにロボットアームに取り付けたマーク物体を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。
【００３４】
＜実施例５＞
本発明による第５の実施例に係る基準部品による位置データ較正装置の例を図１６に示す。
この装置は、上記第１実施例の装置の基準物体系を設定する部分において、背景物体を基にする代わりに基準部品を基に基準物体系を設定し、ビンピッキングシステムに必要な位置データを較正する。なお、上記各較正処理についてはそのソフトウェアを記憶したフロッピィーディスク、ＣＤ−ＲＯＭ等の媒体により行なわれる。
【００３５】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する。
（１）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、ビンピッキングシステムに必要な位置データを較正できるため、今までのデータを全て新しく作り直す必要がない。
（２）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業による作業時間を大幅に短縮できる。
（３）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、大量の部品モデルデータを扱い易く、多品種を扱う工程に容易に対応できる。
（４）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、過去に作った大量の部品モデルデータのデータベースを効率よく扱うことができる。
（５）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業コストを小さくすることができる。
（６）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換に伴う作業者の負担を軽減できる。
（７）カメラの故障や寿命、事故によるカメラの破損等でカメラを交換する場合でも、今までのデータを全て新しく作り直す必要がないため、カメラ交換作業を容易に行うことができる。
（８）定期的に位置データ較正を行うことにより、カメラ取付部の経年変化によってカメラの位置姿勢に多少のズレが生じた場合でも、システムを正常に動作させ続けることができる。
（９）定期的に位置データ較正を行うことによって、システムの信頼性が向上する。
【図面の簡単な説明】
【図１】位置データ較正に用いる座標系を示す図。
【図２】背景物体による基準物体系を示す説明図。
【図３】固定マーク物体による基準物体系を示す説明図。
【図４】取付マーク物体による基準物体系を示す説明図。
【図５】ロボットアームに取り付けたマーク物体による基準物体系を説明する図。
【図６】基準部品による基準物体系を示す説明図。
【図７】背景物体による位置データ較正方法を示すフローチャート。
【図８】固定マーク物体による位置データ較正方法を示すフローチャート。
【図９】取付マーク物体による位置データ較正方法を示すフローチャート。
【図１０】ロボットアームに取り付けたマーク物体による位置データ較正方法を示すフローチャート。
【図１１】基準部品による位置データ較正方法を示すフローチャート。
【図１２】背景物体による位置データ較正装置の構成図。
【図１３】固定マーク物体による位置データ較正装置の構成図。
【図１４】取付マーク物体による位置データ較正装置の構成図。
【図１５】ロボットアームに取り付けたマーク物体による位置データ較正装置の構成図。
【図１６】基準部品による位置データ較正装置の構成図。
【符号の説明】
ΣR ，ΣH ，ΣV ，ΣV'，ΣS   座標系
ＴRV ,ＴVH ,ＴVS ,ＴRV' ，ＴV'H ，ＴV'S ，ＴVV'   座標変換データ
【図１】
0004096415.tif 000002
【図２】
0004096415.tif 000003
【図３】
0004096415.tif 000004
【図４】
0004096415.tif 000005
【図５】
0004096415.tif 000006
【図６】
0004096415.tif 000007
【図７】
0004096415.tif 000008
【図８】
0004096415.tif 000009
【図９】
0004096415.tif 000010
【図１０】
0004096415.tif 000011
【図１１】
0004096415.tif 000012
【図１２】
0004096415.tif 000013
【図１３】
0004096415.tif 000014
【図１４】
0004096415.tif 000015
【図１５】
0004096415.tif 000016
【図１６】
0004096415.tif 000017