【手続補正書】
【提出日】令和3年7月16日(2021.7.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ロボットシステムの制御方法において、
ロボット装置に対するマーカの位置姿勢を第１の装置を用いて測定し、
前記マーカに対するワークの位置姿勢を第２の装置を用いて測定し、
前記第１の装置による測定結果を用いて、前記ロボット装置と前記マーカの第１の相対位置関係（ＲＴＭ）を算出し、
前記第２の装置による測定結果を用いて、前記マーカと前記ワークの第２の相対位置関係（ＭＴＷ）を算出し、
前記第１の相対位置関係（ＲＴＭ）と前記第２の相対位置関係（ＭＴＷ）を用いて、前記ワークと前記ロボット装置の第３の相対位置関係（ＲＴＷ）を算出し、
前記第３の相対位置関係（ＲＴＷ）を用いて前記ロボット装置を制御する、
ロボットシステムの制御方法。
【請求項２】
請求項１に記載のロボットシステムの制御方法において、
前記ロボット装置の位置姿勢を補正し、前記ロボット装置により前記ワークを把持する、
ロボットシステムの制御方法。
【請求項３】
請求項１または２に記載のロボットシステムの制御方法において、前記第１の装置は、前記マーカを撮像可能な３次元撮像装置か、または前記マーカの位置および形状を測定可能なプローブ測定装置である、
ロボットシステムの制御方法。
【請求項４】
請求項１から３のいずれか１項に記載のロボットシステムの制御方法において、前記第２の装置は、前記マーカと前記ワークの両方を撮像視野内に含んだ画像を撮影可能な撮像装置である、
ロボットシステムの制御方法。
【請求項５】
請求項１から４のいずれか１項に記載のロボットシステムの制御方法において、前記第３の相対位置関係（ＲＴＷ）を算出する際に、前記第１の装置により測定された前記ロボット装置に対する前記マーカの位置姿勢に基づき、前記ロボット装置を制御するためのロボット座標系と前記マーカから定まるマーカ座標系との間で座標変換を行うのに用いられる校正データを制御装置により算出する、
ロボットシステムの制御方法。
【請求項６】
請求項５に記載のロボットシステムの制御方法において、前記第３の相対位置関係（ＲＴＷ）を算出する際に、
前記ロボット座標系（Ｒ）と、前記第２の装置のカメラ座標系（Ｃ）と、前記マーカ座標系（Ｍ）と、前記ワークの位置姿勢から定まるワーク座標系（Ｗ）と、前記ロボット座標系（Ｒ）と前記マーカ座標系（Ｍ）との間の座標変換を行う校正データ（ＲＴM）と、次式を用いて、前記ロボット座標系における前記ワークの位置姿勢（ＲＴＷ）を算出する、
ロボットシステムの制御方法。
【数１】
2020011339.tif 000001
【請求項７】
請求項５に記載のロボットシステムの制御方法において、前記第１の装置は、前記マーカを撮像可能な３次元撮像装置であり、前記ロボット座標系と前記マーカ座標系との間で座標変換を行うのに用いられる校正データを算出する際に、
前記３次元撮像装置のカメラ座標系（Ｃ２）と、前記ロボット座標系（Ｒ）と、次式を用いて、前記マーカ座標系（Ｍ）と前記ロボット座標系（Ｒ）との間の座標変換を行う校正データ（ＲＴＭ）を算出する、
ロボットシステムの制御方法。
【数２】
2020011339.tif 000002
【請求項８】
請求項５に記載のロボットシステムの制御方法において、前記第１の装置は、前記マーカを撮像可能で、前記ロボット装置に対して着脱機構を介して装着可能な３次元撮像装置であり、
前記３次元撮像装置を前記着脱機構を介して治具に固定した状態で、前記着脱機構により定まる着脱機構座標系（Ｈ）と前記３次元撮像装置のカメラ座標系（Ｃ２）との間の座標変換を行う校正データを算出する、
ロボットシステムの制御方法。
【請求項９】
請求項８に記載のロボットシステムの制御方法において、前記３次元撮像装置のカメラ座標系（Ｃ２）と、前記ロボット座標系（Ｒ）と、前記着脱機構座標系（Ｈ）と、次式を用いて、前記マーカ座標系（Ｍ）と前記ロボット座標系（Ｒ）との間の座標変換を行う校正データ（ＲＴＭ）を算出する、
ロボットシステムの制御方法。
【数３】
2020011339.tif 000003
【請求項１０】
請求項１に記載のロボットシステムの制御方法において、前記第１の装置は架台の上に位置する前記ロボット装置に装着され、前記第２の装置は前記架台から分離された基台部に支持されている、
ロボットシステムの制御方法。
【請求項１１】
請求項１０に記載のロボットシステムの制御方法において、前記ワークを搬送する搬送装置が、前記基台部に支持されている、ロボットシステムの制御方法。
【請求項１２】
請求項１から１１のいずれか１項に記載のロボットシステムの制御方法の各工程をコンピュータに実行させるための制御プログラム。
【請求項１３】
請求項１２に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項１４】
ワークを取り扱うロボット装置とマーカとを備えたロボットシステムを制御する制御装置において、
前記制御装置は、
前記ロボット装置に対する前記マーカの位置姿勢に係る第１の測定結果を取得し、
前記マーカに対する前記ワークの位置姿勢に係る第２の測定結果を取得し、
前記第１の測定結果を用いて、前記ロボット装置と前記マーカの第１の相対位置関係（ＲＴＭ）を算出し、
前記第２の測定結果を用いて、前記マーカと前記ワークの第２の相対位置関係（ＭＴＷ）を算出し、
前記第１の相対位置関係（ＲＴＭ）と前記第２の相対位置関係（ＭＴＷ）を用いて、前記ワークと前記ロボット装置の第３の相対位置関係（ＲＴＷ）を算出し、
前記第３の相対位置関係（ＲＴＷ）を用いて前記ロボット装置を制御する。
【請求項１５】
請求項１４に記載の制御装置において、
前記制御装置は、
撮像装置に、前記マーカと前記ワークとを共に撮像させて、前記マーカと前記ワークとの相対的な位置関係を算出し、
測定装置に、前記ロボット装置に対する前記マーカの位置姿勢を測定させて、前記マーカと前記ロボット装置との相対的な位置関係を算出する。
【請求項１６】
請求項１５に記載の制御装置において、前記測定装置は、前記マーカを撮像可能な３次元撮像装置である。
【請求項１７】
請求項１５に記載の制御装置において、前記測定装置は、前記マーカの位置および形状を測定可能なプローブ測定装置である。
【請求項１８】
請求項１４に記載の制御装置と、撮像装置と、前記マーカと、測定装置と、前記ロボット装置と、前記撮像装置を支持する支持部と、を備え、
前記支持部は基台部に支持されており、前記基台部は前記ロボットが位置する架台とは分離されている、ロボットシステム。
【請求項１９】
請求項１４に記載の制御装置と、撮像装置と、前記マーカと、測定装置と、前記ロボット装置と、前記ワークを搬送可能な搬送装置と、を備え、
前記搬送装置は基台部に支持されており、前記基台部は前記ロボットが位置する架台とは分離されている、ロボットシステム。
【請求項２０】
請求項１４に記載の制御装置を備えたロボットシステムを用いて、前記ロボット装置に対する前記ワークの相対位置関係に応じて、前記ロボット装置に前記ワークを把持させ、前記ロボット装置に把持された前記ワークを別のワークに接触させる、物品の製造方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の一つの態様は、ロボットシステムの制御方法において、ロボット装置に対するマーカの位置姿勢を第１の装置を用いて測定し、前記マーカに対するワークの位置姿勢を第２の装置を用いて測定し、前記第１の装置による測定結果を用いて、前記ロボット装置と前記マーカの第１の相対位置関係（ＲＴＭ）を算出し、前記第２の装置による測定結果を用いて、前記マーカと前記ワークの第２の相対位置関係（ＭＴＷ）を算出し、前記第１の相対位置関係（ＲＴＭ）と前記第２の相対位置関係（ＭＴＷ）を用いて、前記ワークと前記ロボット装置の第３の相対位置関係（ＲＴＷ）を算出し、前記第３の相対位置関係（ＲＴＷ）を用いて前記ロボット装置を制御する、ロボットシステムの制御方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
固定カメラ２は、ワーク５１と、基準マーカ４１〜４４の撮影画像を同時に取得（撮影）できるよう配置されている。固定カメラ２は、本実施形態では３次元計測可能なステレオカメラとするが、単眼カメラであってもよい。固定カメラ２は、撮影時の不要な画像の歪みを避けるため、内部のイメージセンサはグローバルシャッタを用いた形式であるのが望ましい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
受信した画像データは画像処理装置７内のカメラ制御部７１１（画像処理部７１２）によって処理される。カメラ制御部７１１では画像データからワーク５１や基準マーカを４１〜４４の位置姿勢を算出する。ここでは、例えば、固定カメラ２の撮影画像から基準マーカ４１〜４４位置を計測する手法について説明する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
ロボット−マーカ間校正（Ｓ１０３）は、例えば、図８のように実施する。図８において、まず、ロボットハンド１２で手先カメラ８を把持し、装着する（Ｓ２０１）。その後、ロボット制御装置６に接続されているティーチングペンダント（不図示）などを用いてロボットアーム１１を基準マーカ４１〜４４を撮影できる位置まで手先カメラ８を移動させる。通常、ティーチングペンダント（不図示）によるロボットアーム１１の制御はユーザが手動で行う。しかしながら、基準マーカ４１〜４４を撮影できる位置への手先カメラ８の移動（あるいはさらに下記の撮影）は予め用意した制御プログラムによって自動的に行う校正であってもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
そこで、下式（数６）に示すように、上式（数５）の右辺と左辺の差分のノルム二乗和が０に近づくように、同次座標変換行列ＲＴＭに対して、非線形最適化計算を解くことができる。ここで、Ｎは基準マーカの数を示す。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
あるいは、プローブ１０３の位置の校正を予め行っておくのであれば、真球度が出ている基準球４６を、架台４上に固定しておく（図１２、図１５）。この基準球４６の表面の複数個所に対して接触測定を行う（図１５）。この測定結果と、基準球４６の設計値を比較し、プローブ１０３の座標位置を算出することができる。以上のようにして、プローブ治具１０をロボットハンド１２に装着した際に、ハンド座標系（着脱機構座標系）Ｈ基準でのプローブ１０３の位置を高精度に演算することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
図１１ではロボット制御装置６の構成は、図示を省略しているが、ロボット制御装置６は図１と同様の構成とすることができる。また、図１における画像処理装置７については、固定カメラ２の側の処理のみを行うものとし、プローブ治具１０に関する処理、即ち、マーカ座標系とロボット座標系の間の校正については、ロボット制御装置６側で行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
図１４において、基準球４６〜４９とロボット間の相対位置姿勢を算出する処理（Ｓ４０３）は、実施形態１、図８のステップＳ２０３と同じ内容である。ここでは、マーカ座標系Ｍとロボット座標系Ｒの間で座標変換を行うための校正データを取得する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
再び図１３において、オンライン作業（Ｓ３０３〜Ｓ３０５）は、図５のオンライン作業（Ｓ１０４〜Ｓ１０６）と同等である。このオンライン作業（Ｓ３０３〜Ｓ３０５）では、ワーク（５１）と基準球４６〜４９を固定カメラ２で撮影し、マーカ座標系Ｍにおけるワーク（５１）の位置姿勢を取得する（Ｓ３０３）。そして、マーカ座標系Ｍとロボット座標系Ｒの間で座標変換を行い、ロボット座標系Ｒにおけるワーク（５１）の実際位置を取得し（Ｓ３０４）、ロボットアーム１１の位置姿勢を補正して、所期のロボット動作を行う。