(57)【要約】カメラベースの自動アライメント処理は、ロボットアームのグリッパユニットにより第１の校正ツールを把持することを含み得る。第１の校正ツールの画像は、グリッパユニットに連結されたカメラによって撮影することができる。グリッパユニット及びカメラユニットは、２つのおよそ平行な軸上にアライメントすることができる。画像を分析して、グリッパ軸を用いてカメラの視野軸を校正することができ、ロボットアームのＸＹ校正が提供される。グリッパユニットは、第２の校正ツール上に設けられた目印による光学的な校正を使用して、かつ／又はグリッパユニットを、作業面に向けて、作業面に接触し停止するまで移動させることにより、Ｚ軸上で校正することができる。一旦校正されると、カメラを使用して、作業面上の既知の場所における１つ以上の目印を識別し、ロボットアームを作業面にアライメントすることができる。
2015530276.tif 000002
【特許請求の範囲】
【請求項１】
自動アライメントの方法であって、
第１の軸上の、作業面の上方の第１の高さにおいて、ロボットアームのグリッパユニットにより、Ｘ−Ｙ校正ツールを把持することと、
第２の軸上のカメラにより、前記第１の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得することであって、前記カメラは、前記グリッパユニットに連結されている、ことと、
前記第１の高さにおける前記第１の校正ツールの画像を分析して、前記第２の軸と前記第１の軸との間のオフセットを決定することと
を含む、方法。
【請求項２】
前記Ｘ−Ｙ校正ツールを、前記カメラの視野を通して回転させることを更に含み、前記Ｘ−Ｙ校正ツールは、複数の目印を含む略平坦部分を含み、
前記Ｘ−Ｙ校正ツールの画像を分析することは、
それぞれが前記画像内の前記目印の１つに対応する、複数の楕円形の経路を識別することと、
前記第１の軸に対応する前記複数の楕円形の経路の中心点を決定することと、
前記複数の楕円形の経路の前記中心点に基づいて、前記第１の軸と前記第２の軸との間のオフセットを決定することと
を含む、請求項１に記載の方法。
【請求項３】
前記カメラが目印の上方にセンタリングされるように前記ロボットアームを位置付け、画素に前記目印の第１の位置を記録することと、
前記ロボットアームを、Ｘ方向及びＹ方向に所定のステップ数だけ移動させ、画素に前記目印の第２の位置を記録することと、
前記第１の位置と前記第２の位置との間の差、及び前記所定のステップ数に基づいて、ステップ対画素の変換率を決定することと
を更に含む、請求項２に記載の方法。
【請求項４】
第２の高さにおいて前記Ｘ−Ｙ校正ツールを把持することと、
前記カメラにより前記第２の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得することと、
前記第２の高さにおける前記Ｘ−Ｙ校正ツールの画像を分析して、前記第２の軸と前記第１の軸との間の第２のオフセットを決定することと、
第３の高さにおいて前記Ｘ−Ｙ校正ツールを把持することと、
前記カメラにより前記第３の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得することと、
前記第３の高さにおける前記Ｘ−Ｙ校正ツールの画像を分析して、前記第２の軸と前記第１の軸との間の第３のオフセットを決定することと、
前記３つのオフセット及び前記３つの高さを使用して線形オフセット関数を決定することと
を更に含む、請求項２に記載の方法。
【請求項５】
前記Ｘ−Ｙ校正ツール上の少なくとも１つの目印は、周期的繰り返しパターンであり、前記Ｘ−Ｙ校正ツールの画像を分析して、前記第２の軸と前記第１の軸との間のオフセットを決定することは、
前記画像を分析し、前記周期的繰り返しパターンを使用して、少なくとも１つの歪み補正パラメータを決定することであって、前記少なくとも１つの歪み補正パラメータは、前記画像内のレンズ関連の歪みを補正するために使用することができる、ことと、
前記少なくとも１つの歪み補正パラメータを前記画像へ適用して、歪み補正された画像を生成することと
を更に含む、請求項１に記載の方法。
【請求項６】
作業面上の１つ以上の要素上の１つ以上の目印を識別して、前記ロボットアームを前記作業面に対してアライメントすることを更に含む、請求項１に記載の方法。
【請求項７】
前記グリッパユニットが前記作業面に直交するＺ軸に沿って移動するときに前記カメラが一定の高さに維持されるように、前記カメラは、前記グリッパユニットに連結される、請求項１に記載の方法。
【請求項８】
自動アライメントの方法であって、
ロボットアームのグリッパユニットを、Ｚ校正ツールの上方の所定の高さに位置付けることであって、前記Ｚ校正ツールは、複数のレベル上に複数の目印を含む、ことと、
前記Ｚ校正ツール上の第１の目印の上方で、Ｚ軸に沿って前記グリッパユニットを校正することと
を含み、
校正することは、
前記グリッパユニットを、前記Ｚ校正ツール上の前記第１の目印に向けて、前記Ｚ軸に沿って、前記グリッパユニットが前記Ｚ校正ツールと接触するまで移動させることと、
前記所定の高さから前記Ｚ校正ツールと接触するまで前記グリッパユニットによって走行した第１のステップ数を決定することと
を含む、方法。
【請求項９】
第１の目印の上方で、Ｚ軸に沿って前記グリッパユニットを校正することは、三角測量を使用して、前記Ｚ校正ツール上の前記第１の目印の上方での、前記グリッパユニットの画素での第１の高さを決定することを更に含む、請求項８に記載の方法。
【請求項１０】
前記Ｚ校正ツール上の少なくとも２つの追加の目印の上方で、前記Ｚ軸に沿って前記グリッパユニットを校正することと、
前記目印のそれぞれに対する校正結果に基づいて、画素での高さをステップでの高さに変換する距離関数を決定することと
を更に含む、請求項８に記載の方法。
【請求項１１】
前記Ｚ校正ツール上の少なくとも１つの目印は、周期的繰り返しパターンであり、Ｚ校正ツールを使用してＺ軸上で前記グリッパを校正することは、
前記Ｚ校正ツールの画像を分析し、前記周期的繰り返しパターンを使用して、少なくとも１つの歪み補正パラメータを決定することであって、前記少なくとも１つの歪み補正パラメータは、前記画像内のレンズ関連の歪みを補正するために使用されることができる、ことと、
前記少なくとも１つの歪み補正パラメータを前記画像へ適用し、歪み補正された画像を生成することと
を更に含む、請求項８に記載の方法。
【請求項１２】
自動アライメントの方法であって、
第１の軸上のグリッパユニットにより校正ツールを把持することと、
第２の軸上のカメラにより前記校正ツールの画像を取得することであって、前記カメラは、前記グリッパに接続されている、ことと、
前記画像を分析して、少なくとも１つの歪み補正パラメータを決定することであって、前記少なくとも１つの歪み補正パラメータは、前記画像内のレンズ関連の歪みを補正するために使用されることができる、ことと、
前記少なくとも１つの歪み補正パラメータを前記画像へ適用して歪み補正された画像を生成することと
を含む、方法。
【請求項１３】
前記歪み補正された画像を分析し、前記歪み補正された画像内に示されるＸ−Ｙ校正ツール上の１つ以上の目印を使用して、前記第２の軸と前記第１の軸との間のオフセットを決定することを更に含む、請求項１２に記載の方法。
【請求項１４】
Ｚ校正ツール上に設けられた１つ以上の目印を使用して、前記歪み補正された画像を使用して、Ｚ軸上で前記グリッパを校正することを更に含み、前記Ｚ軸上で前記グリッパを校正することは、前記Ｚ校正ツール上に設けられた目印を三角測量することを含む、請求項１３に記載の方法。
【請求項１５】
Ｚ軸上で前記グリッパを校正することは、前記グリッパを、前記Ｚ軸に沿って前記Ｚ校正ツールに向けて、前記グリッパが前記Ｚ校正ツールと接触するまで移動させることにより、前記グリッパを物理的に校正することを更に含む、請求項１４に記載の方法。
【請求項１６】
組立体であって、
グリッパユニットを含むロボットアームであって、前記ロボットアームが作業面の上方を３次元的に移動するように構成されている、ロボットアームと、
カメラであって、前記グリッパユニットが前記作業面に対して略直交するＺ軸に沿って移動するときに前記カメラが一定の高さに維持されるように、前記グリッパユニットに連結されている、カメラと
を含む、組立体。
【請求項１７】
前記ロボットアーム及び前記カメラに連結された１つ以上のコントローラを含む自動アライメントシステムを更に含み、前記自動アライメントシステムは、前記ロボットアームに、Ｘ−Ｙ校正ツールを把持して前記Ｘ−Ｙ校正ツールを前記カメラの視界を通して回転させるよう指示するように構成され、前記自動アライメントシステムは、前記カメラに、前記Ｘ−Ｙ校正ツールが回転されるとき、前記Ｘ−Ｙ校正ツールの画像を撮影するよう指示するように構成され、前記自動アライメントシステムは、前記Ｘ−Ｙ校正ツールの画像を分析し、前記グリッパユニットに対応する第１の軸と前記カメラに対応する第２の軸との間のオフセットを決定するように更に構成されている、請求項１６に記載の組立体。
【請求項１８】
前記自動アライメントシステムは、
それぞれが前記画像内の前記目印の１つに対応する、複数の楕円形の経路を識別することと、
前記第１の軸に対応する前記複数の楕円形の経路の中心点を決定することと、
前記複数の楕円形の経路の前記中心点に基づいて、前記第１の軸と前記第２の軸との間のオフセットを決定することと
を行うように更に構成されている、請求項１７に記載の組立体。
【請求項１９】
前記自動アライメントシステムは、
前記ロボットアームに、第２の高さにおいて前記Ｘ−Ｙ校正ツールを把持するように指示することと、
前記カメラに、前記第２の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得するように指示することと、
前記第２の高さにおける前記Ｘ−Ｙ校正ツールの画像を分析して、前記第２の軸と前記第１の軸との間の第２のオフセットを決定することと、
前記ロボットアームに、第３の高さにおいて前記Ｘ−Ｙ校正ツールを把持するように指示することと、
前記カメラにより前記第３の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得することと、
前記カメラに、前記第３の高さにおける前記Ｘ−Ｙ校正ツールの画像を取得するように指示し、前記第２の軸と前記第１の軸との間の第３のオフセットを決定することと、
前記３つのオフセット及び３つの高さを使用して線形オフセット関数を決定することと
を行うように更に構成されている、請求項１８に記載の組立体。
【請求項２０】
前記自動アライメントシステムは、
前記カメラが目印の上方にセンタリングされるように前記ロボットアームを位置付け、画素に前記目印の第１の位置を記録することと、
前記ロボットアームをＸ方向及びＹ方向に所定のステップ数だけ移動させ、画素に前記目印の第２の位置を記録することと、
前記第１の位置と前記第２の位置との間の差、及び前記所定のステップ数に基づいて、ステップ対画素の変換率を決定することと
を行うように更に構成されている、請求項１７に記載の組立体。
【請求項２１】
前記自動アライメントシステムは、
前記カメラに、周期的繰り返しパターンを含む目印の画像を撮影するように指示することと、
前記周期的繰り返しパターンを含む前記目印の画像を分析し、前記周期的繰り返しパターンを使用して、少なくとも１つの歪み補正パラメータを決定することであって、前記少なくとも１つの歪み補正パラメータは、前記画像内のレンズ関連の歪みを補正するために使用されることができる、ことと、
前記少なくとも１つの歪み補正パラメータを前記Ｘ−Ｙ校正ツールの画像へ適用して歪み補正された画像を生成することと
を行うように更に構成されている、請求項１７に記載の組立体。
【請求項２２】
前記自動アライメントシステムは、
Ｚ校正ツールの上方の所定の高さに前記ロボットアームの前記グリッパユニットを位置付けることであって、前記Ｚ校正ツールは、複数のレベル上に複数の目印を含む、ことと、
前記Ｚ校正ツール上の第１の目印の上方で、Ｚ軸に沿って前記グリッパユニットを校正することと
を行うように更に構成されており、
校正することは、
三角測量を使用して、前記Ｚ校正ツール上の前記第１の目印の上方での、前記グリッパユニットの画素での第１の高さを決定することと、
前記グリッパユニットを、前記Ｚ軸に沿って、前記Ｚ校正ツール上の前記第１の目印に向けて、前記グリッパユニットが前記Ｚ校正ツールと接触するまで移動させることと、
前記所定の高さから前記Ｚ校正ツールと接触するまで前記グリッパユニットによって走行した第１のステップ数を決定することと
を含む、請求項１７に記載の組立体。
【請求項２３】
前記自動アライメントシステムは、
前記Ｚ校正ツール上の少なくとも２つの追加の目印の上方で、前記Ｚ軸に沿って前記グリッパユニットを校正することと、
前記目印のそれぞれに対する校正結果に基づいて、画素での高さをステップでの高さに変換する距離関数を決定することと
を行うように更に構成されている、請求項２２に記載の組立体。
【発明の詳細な説明】
【背景技術】
【０００１】
（関連出願の相互参照）
本出願は、Ｓｔｅｆａｎ  Ｒｕｅｃｋｌにより、「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＡＵＴＯ−ＡＬＩＧＮＭＥＮＴ」と題して、２０１２年１０月５日に出願された、米国特許仮出願第６１／７１０，６１２号、Ｓｔｅｆａｎ  Ｒｕｅｃｋｌ，ｅｔ  ａｌ．により、「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＡＵＴＯ−ＡＬＩＧＮＭＥＮＴ」と題して、２０１２年１２月２１日に出願された、米国特許仮出願第６１／７４５，２５２号、及びＳｔｅｆａｎ  Ｒｕｅｃｋｌ，ｅｔ  ａｌ．により、「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＡＵＴＯ−ＡＬＩＧＮＭＥＮＴ」と題して、２０１３年３月５日に出願された、米国特許仮出願第６１／７７２，９７１号に対して優先権を主張し、それぞれの出願は、全ての目的のためにその全体が参照によって本明細書に組み込まれる。本出願は、Ｓｔｅｆａｎ  Ｏｔｔｓにより、「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＬＡＳＥＲ−ＢＡＳＥＤ  ＡＵＴＯ  ＡＬＩＧＮＭＥＮＴ」と題して、２０１３年１０月４日に出願された、米国特許出願第＿＿＿＿＿＿＿＿＿＿号（出願未割当）に関し、全ての目的のためにその全体が参照によって本明細書に組み込まれる。
【０００２】
（背景技術）
ラボラトリー・オートメーション・システム（ＬＡＳ）が顧客先において据付けられるとき、サービス技術者が、フレーム、ロボットアーム用のＸＹガントリ、及び作業面上の引き出しなどの、そのシステムの各要素をアライメントして、ロボットアームがサンプル管を正確に把持して、ある位置から他の位置へ運べるようにする。通常、作業スペースへのロボットアームのアライメントは、手動で行われる。手作業によるアライメントは、時間とコストのかかるプロセスであり、特に、それぞれ個別のアライメントが必要なロボットアームを複数備えている場合のある、複雑なＬＡＳにおいては、そうである。加えて、手作業によるアライメントでは、それぞれのアライメントにおいて、人為エラーが入り込む可能性がある。自動アライメントプロセスにより、より少ないサービス技術者によって、より多くのＬＡＳをより短時間で据付け及びアライメントでき、人為エラーに起因する不正確なアライメントのリスクも低減される。
【０００３】
典型的なＬＡＳでは、各ロボットアームは、作業面の上方にあるガントリに固定され、この作業面は、例えば、様々な位置又は作業面上の器具へと移動可能なラックに入った試験管などを含み得る。例えば、分配ラックから遠心分離機アダプタへ試験管を移動させることなどである。様々な問題を避けるために、把持動作は正確である必要がある。例えば、ロボットアームが、管を把持することができない場合、又は選択された管をうまく把持できたとしても、ミスアライメントにより、管を破壊してしまう場合などである。従来の手動アライメントは、手動又は外部駆動モータを使用することのいずれかによって、グリッパアームを作業面上の複数の異なる位置へ手動で位置付けることなど、様々な工程を含むことがある。更に、ロボットアームは、作業面上のラック又は引出し用に個別にアライメントされる必要がある。この手順は、サービス技術者による手動アライメントの場合、ロボットアーム毎に数時間から１日かかることがある。
【０００４】
本発明の実施形態は、これら及び他の問題に対処するものである。
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書は、一実施形態によれば、ラボラトリー・オートメーション・システム（ＬＡＳ）内において、グリッパユニットを備えるロボットアームを校正し、かつ／又はアライメントする、自動アライメントプロセス、及び関連する技術的構成を開示する。
【０００６】
カメラベースのアライメントシステムでは、ＸＹＺロボットのグリッパユニットの位置にカメラを取り付けることにより、ロボットアームにグリッパ位置の下方の作業面の画像を取得させることができる。カメラとロボットアームのアライメントは、カメラが据付けられるとき、据付け中にカメラの光軸をロボットアームの軸にアライメントすることにより、実行することができる。しかしながら、カメラを正確に据付けし、かつ確実にカメラの位置が変化しないようにすることは、複数のロボットアームを伴う複雑なシステムでは、非常に高いコストがかかる場合がある。したがって、カメラを利用する自動アライメント手順により、カメラをロボットアームに正確に取り付けることに関わる製造コストを低減することができると共に、カメラ位置のずれ、又は別の理由でミスアライメントとなる場合があるカメラ−ロボットアームシステムを再アライメントする迅速な方法を提供することができる。
【０００７】
一実施形態によれば、カメラベースの自動アライメント処理は、ロボットアームのグリッパユニットにより第１の校正ツールを把持することを含み得る。第１の校正ツールの画像は、グリッパユニットに連結されたカメラによって撮影することができる。グリッパユニット及びカメラユニットは、２つのおよそ平行な軸上にアライメントすることができる。画像を分析して、グリッパ軸を用いてカメラの視野軸を校正することができ、ロボットアームのＸＹ校正が提供される。グリッパユニットは、第２の校正ツール上に設けられた目印による光学的な校正を使用して、かつ／又はグリッパユニットを、作業面に向けて、作業面に接触し停止するまで移動させることにより、Ｚ軸上で校正することができる。一旦校正されると、カメラを使用して、作業面上の既知の場所における１つ以上の目印を識別し、ロボットアームを作業面にアライメントすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に従う、ＸＹＺロボットのためのカメラ−グリッパ構成を示す図である。
【図２】本発明の一実施形態に従う、カメラベースの自動アライメントで使用するための複数の目印のデザインを示す図である。
【図３】本発明の一実施形態に従う、Ｘ−Ｙ校正ツールを示す図である。
【図４】本発明の一実施形態に従う、Ｚ校正ツールを示す図である。
【図５】本発明の一実施形態に従う、ラボラトリー・オートメーション・システム（ＬＡＳ）の一例を示す図である。
【図６】本発明の一実施形態に従う、Ｚ軸ハウジングに取り付けられたカメラユニット及びグリッパユニットを示す図である。
【図７】本発明の一実施形態に従う、ＸＹＺロボットを校正する方法を示す図である。
【図８】一般的な放射方向の歪みの例を示す図である。
【図９】本発明の一実施形態に従う、Ｘ−Ｙ校正の方法を示す図である。
【図１０】本発明の一実施形態に従う、校正中のＸ−Ｙ校正ツールの経路の射影を示す図である。
【図１１】本発明の一実施形態に従う、校正中に画像撮影デバイスの撮像特性（ｉｍａｇｉｎｇ  ｐｒｏｐｅｒｔｙ）により生成された楕円を示す図である。
【図１２】本発明の一実施形態に従う、画像撮影デバイスの高さを決定するための目印の三角測量を示す図である。
【図１３】本発明の一実施形態に従う、Ｚ校正の方法を示す図である。
【図１４】本発明の一実施形態に従う、カメラベースの自動アライメントシステムの精度を決定するためのシステムを示す図である。
【図１５】本発明の一実施形態に従う、自動アライメントシステムのブロック図である。
【図１６】本発明の一実施形態に従う、コンピュータ装置のブロック図である。
【発明を実施するための形態】
【０００９】
以下の説明では、説明の目的のため、本発明の様々な実施形態の完全な理解を提供するために多くの特定の詳細が記載される。しかしながら、当業者であれば、これらの具体的な詳細の一部がなくても、本発明の実施形態を実施し得ることが明らかであろう。他の例では、公知の構造及びデバイスが、ブロック図形式で示される。
【００１０】
以下の説明は、例示的な実施形態のみを提供するものであり、本開示の範囲、適用性、又は構成を限定しようとするものではない。むしろ、以下の例示的な実施形態の説明は、当業者に、例示的な実施形態を実施するための有効な説明を提供するだろう。添付の「
特許請求の範囲」に記載された本発明の趣旨及び範囲から逸脱することなく、要素の機能及び構成において、様々な変更が可能であることが理解されるべきである。
【００１１】
実施形態の完全な理解を提供するために、具体的な詳細が、以下の説明で与えられる。しかしながら、これらの具体的な詳細がなくても実施形態を実施できることが、当業者には理解されるであろう。例えば、回路、システム、ネットワーク、処理、及び他の構成要素は、不必要な詳細で実施形態を不明瞭にしないように、ブロック図形式の構成要素として示され得る。他の例では、公知の回路、処理、アルゴリズム、構造、及び技法は、実施形態を不明瞭にすることを避けるために、不必要な詳細なしで示され得る。
【００１２】
図１は、一実施形態に従う、ＸＹＺロボットのためのカメラ−グリッパの構成を示す。一実施形態に従って、光学測定ツールとしてカメラを使用する自動アライメントの方法が開示される。ロボットアームは、ラボラトリー・オートメーション・システム（ＬＡＳ）において作業面上の物体を、把持し、掴み上げ、移動させるように動作可能なグリッパユニット１００を含み得る。カメラ、又は他の画像撮影デバイスは、カメラによって撮影される画像及び／又はビデオを使用して、ＬＡＳ内の要素を識別し、ロボットアームをＬＡＳにアライメントすることができるように、グリッパユニットに連結することができる。幾つかの実施形態では、グリッパユニットがＺ軸に沿って移動することができる一方、カメラが一定の高さに維持されるように、カメラは、グリッパユニットに連結される。ロボットアームのアライメント中、カメラ及びグリッパユニットは、１つ以上の校正ツールで校正されてもよい。校正処理は、（画素で表される）カメラ座標系と（ステップ又はエンコーダカウントで表される）ロボット座標系との間の関係を確立するために使用される。校正は、補正されなければミスアライメントにつながりかねない歪みをもたらす場合がある、カメラにおける光学的不完全性を考慮することもできる。カメラが校正されると、カメラを使用して、作業面上の既知の位置に配置される目印を識別することができる。これにより、ロボットアームがＬＡＳにアライメントされる。
【００１３】
一実施形態に従って、グリッパユニット１００は、ＬＡＳ内の要素１０２を把持することができる。これらの要素としては、試験管、校正ツール、及び他の物体を挙げることができる。要素１０２は、第１の軸上のグリッパユニットを使用して把持される。カメラユニット１０４とグリッパユニット１００との間のオフセットにより、画像は、第２の軸上のカメラユニット１０４により取得され得る。典型的なカメラ及び組立体は、大き過ぎてグリッパ組立体又は把持可能なツールへ一体化することができない。そのため、カメラユニットは、グリッパユニットと隣接して連結される場合があり、第１の軸と第２の軸との間の機械的オフセットをもたらす。通常動作中、カメラはグリッパユニットと干渉しないので、カメラはグリッパユニットに対して固定されたままであり得、必要に応じ、自動アライメントが更に実行されることが可能になる。画像を分析して、第２の軸と第１の軸との間のオフセットを決定し、カメラ座標系をロボット座標系に対して校正することができる。オフセットは、第１の軸と第２の軸との間の任意の角度のミスアライメントを考慮することができる。モータステップと画素との間の変換率は、カメラを目印の上方に位置付け、ロボットアームをＸ及びＹ方向に所定のステップ数だけ移動させることにより決定することができる。変換率は、目印の見かけ上の位置の変化に基づいて決定することができる。オフセット及び変換率を使用して、Ｘ−Ｙ平面においてグリッパを校正することができる。グリッパは、その後、第２の校正ツールを使用して、Ｚ軸上で校正することができる。必要に応じ、作業面上の１つ以上の要素（例えば、入力領域）上の１つ以上の目印を識別することによって、グリッパの校正の精度を確認することができる。一旦校正が完了すると、カメラユニットを使用して、作業面上の既知の場所における１つ以上の目印を識別し、ロボットアームをＬＡＳに対してアライメントすることができる。
【００１４】
一実施形態に従って、Ｚ軸上でグリッパを校正することは、第２の校正ツール上に設けられた目印を使用してグリッパを光学的に校正すること（例えば、カメラから固定された目印までの距離を三角測量することによるもの）を含み得る。更に、又は代替として、グリッパが第２の校正ツールと接触するまで、Ｚ軸に沿って、第２の校正ツールに向けて、グリッパを移動させることにより、グリッパをＺ軸上で物理的に校正することができる。
【００１５】
上記のように、ロボットアームのＬＡＳに対する校正及びアライメント処理において、視覚的な目印を使用することができる。例えば、校正ツールは、カメラユニットが認識できる目印を含むこともでき、また、作業面上の目印を使用して、ロボットアームをＬＡＳに対してアライメントすることもできる。目印は、作業面上の既知の場所に位置付けられた、コントラストのついた幾何学的形状を含み得る。目印は、校正ツール上に位置付けることもでき、カメラ及びグリッパユニットを校正するために使用することができる。
【００１６】
図２は、種々の目印のデザイン２００の例を示す。幾つかの実施形態では、目印は、粘着性の紙又はビニルなど、作業面へ貼付できる基材上に印刷することができる。幾つかの実施形態では、目印は、機械的、化学的、又は別の方法で作業面にエッチングし、塗料又は、エポキシなどのコントラストをつけるための充填剤で充填することができる。あるいは、このコントラストは、陽極酸化された、又はそうでなければコーティングされた構成部品をエッチングすることによって達成される場合もある。これにより、作業面上でずれるか、又は移動しない恒久的な目印が提供される。
【００１７】
理想的には、作製し易く、容易に識別可能な中心点を有し、かつ誤識別リスクが低い目印を選択することができる。例えば、十字又は矩形などの線状の目印は、円形の目印よりも、確実に識別することが難しい場合がある。更に、作業面上の傷は、円形の目印よりも容易に線状の目印と誤られる場合がある。複数の同心円を含む目印は、識別が容易であり、線状の目印よりも誤識別されにくく、かつ全ての識別された円の中心点の代数平均により中心点を決定することができる。本明細書において、円形の目印が、典型的に使用されるが、図２に示されるものを含むがこれに限定されない、あらゆるコントラストのついた形状が、本発明の実施形態で使用され得る。カメラユニットが作業面の画像を撮影するとき、パターン認識処理を使用して画像を処理し、目印が画像内に存在するかどうかを決定することができる。パターン認識処理により、目印が存在するかどうかを決定することができ、存在する場合、目印の中心点を識別することができる。中心点は、カメラ座標系内の位置として、画素で表すことができる。
【００１８】
図３は、本発明の一実施形態に従う、Ｘ−Ｙ校正ツールを示す。Ｘ−Ｙ校正ツールを使用して、Ｘ−Ｙ平面内でグリッパユニットを校正することができる。本明細書で使用されるとき、Ｘ−Ｙ平面は、作業面に平行な平面を指すことができる。上記のように、カメラは、ロボットアームのグリッパユニットに連結することができ、カメラ軸とグリッパユニット軸との間のオフセットをもたらす。このオフセットは、ロボットアーム及びカメラに組み込まれた機械的公差、並びに据付けハードウェア及び他の要因の変動の結果として、据付けのたびに変わることがある。そのため、このオフセットは、据付け前には不明で、ロボットアームのＬＡＳへのアライメント及び校正中に判定され得る。
【００１９】
図３に示されるように、Ｘ−Ｙ校正ツール３００は、把持可能部３０２及び略水平部３０４を含み得る。把持可能部３０２がグリッパユニットに把持されるとき、略水平部３０４は、カメラに対して可視であり得る。略水平部は、複数の目印３０６を含み、この複数の目印３０６は、カメラにより検出することができ、カメラ軸とロボットグリッパの軸との間のオフセットを測定するために使用することができる。幾つかの実施形態では、校正は、Ｘ−Ｙ校正ツール上の少なくとも２つのマーカが検出できる場所で実行することができる。図３に示されるＸ−Ｙ校正ツールは、５つの目印３０６を有するが、より多く又はより少ない目印が使用されてもよい。目印は、ツールに沿う既知の距離を設けて配置され、それぞれの目印の中心から把持可能部３０２の中心までの距離は既知である。Ｘ−Ｙ校正ツールの寸法は、ロボットアームが配備されるＬＡＳに基づいて選択することができる。把持可能部３０２の直径は、ロボットが定期的に掴み上げると考えられる物体の直径に基づいて選ぶことができる。例えば、定期的に試験管を把持するロボットについては、試験管のおよその直径を、円筒部の直径として選択する。水平部３０４の長さは、グリッパ軸とカメラ軸との間のオフセットよりも大きくなるように選択することができ、校正中、水平部３０４がカメラに対して可視であることが確保される。一実施形態に従う、Ｘ−Ｙ校正処理のフローは、以下で詳細に説明される。
【００２０】
図４は、本発明の一実施形態に従う、Ｚ校正ツール４００を示す。Ｚ校正ツールを使用して、Ｚ軸に沿ってグリッパユニットを校正することができる。本明細書で使用されるとき、Ｚ軸は、作業面に直交する軸を指す。Ｚ校正ツールは、既知の高さにおける複数のレベル４０２を含み得る。それぞれのレベルは、カメラにより識別することができる目印４０４を含み得る。幾つかの実施形態では、バーコードなどのラベルを使用して、Ｚ校正ツール４００上の目印に固有の識別番号を割当てることができる。Ｚ校正ツールは、据付け中にサービス技術者により予め定義された位置において作業面に取り付けられるか、又は作業面に恒久的に一体化するかのいずれでもよい。一実施形態に従って、Ｚ校正は、Ｘ−Ｙ校正後に実行することができる。
【００２１】
一実施形態に従って、ロボットアームは、圧力センサを含むことができ、一旦抵抗を検知すると、停止するように構成することができる。これは、通常、安全機能として使用され、ロボットアームが、ロボットアーム自身、作業面、又は作業面上の物体を損傷させることを防ぐ。圧力センサを自動停止器として使用して、ロボットアームを、Ｚ校正ツール上の第１の目印の上方に位置付け、グリッパユニットが第１の目印と接触するまで下降させることができる。接触すると、圧力センサがロボットアームを停止する。アームが停止すると、Ｚ軸上でのモータの位置を記録することができる。一実施形態に従って、それぞれの軸に沿ってロボットアームを駆動するために使用されるモータは、ブラシ付きＤＣモータ又はステッピングモータとすることができる。Ｚ軸上のモータの位置は、エンコーダカウント又はステップで記録することができる。この処理は、Ｚ校正ツール上のそれぞれの目印について繰り返すことができる。一旦それぞれの位置が記録されると、それぞれのレベル間の距離は、エンコーダカウント又はステップで決定することができる。以下で更に説明するように、三角測量を使用してＺ校正ツールのそれぞれのレベルの高さ（例えば、画素あたりのステップ数での高さ）を決定することができる。一実施形態に従う、Ｚ軸校正処理のフローは、以下で更に説明される。
【００２２】
幾つかの実施形態では、Ｘ−Ｙ校正ツール及びＺ校正ツールの機能を組み合わせた単一の校正ツールを使用することができる。例えば、組み合わせた校正ツールは、上記のようなＸ−Ｙ校正ツールと類似することがあり、それぞれの目印が異なるレベルに在るように改変されている。
【００２３】
図５は、本発明の一実施形態に従う、ラボラトリー・オートメーション・システム（ＬＡＳ）の一例を示す。図５に示されるように、ＬＡＳ  ５００は、Ｚ軸５０４が取り付けられているＸ−Ｙガントリ５０２を有するフレームを含み得る。グリッパユニット５０６を含むロボットアーム及びカメラユニット５０８は、それぞれＺ軸５０４に連結することができる。上記のように、Ｘ−Ｙガントリは、Ｘ−Ｙ平面において作業面５１０の上方でロボットアーム及びグリッパユニットを移動させるように動作可能であり、Ｚ軸は、ロボットアーム及びグリッパユニットを作業面５１０に対して上下に移動させるように動作可能である。一実施形態に従って、それぞれの軸は、１つ以上の電気モータを使用して、軌道に沿って移動させることができる。幾つかの実施形態では、モータは、ブラシ付きＤＣモータ、又は既知のモータ分解能（ミリメートルあたりのステップ数）を有するステッピングモータであってよい。マイクロコントローラ、プロセッサ、又は他のコントローラなどの１つ以上のコントローラを使用して、それぞれの軸に関連するモータを制御し、作業面上方の３次元空間においてロボットアームを位置付けることができる。ロボットアームを作業面にアライメントするために、作業面は、１つ以上の目印５１２を既知の位置に含むことができる。カメラユニットは、校正することができ、それによって、画素でのカメラ座標系をエンコーダカウント又はステップでのロボット座標系に変換することが可能となる。更に、校正処理は、カメラ軸とグリッパユニット軸との間の小さな角度のミスアライメント、並びにレンズ歪みなどのカメラ内の光学的欠陥を補正することができる。更に、ロボットアームは、１つ以上の目印５１２を使用して、作業面に自動的にアライメントさせることができ、ロボットアームに、作業面上の物体の掴み上げ及び再位置付けなど、精度が重要な機能を実行させることが可能となる。幾つかの実施形態では、他のタイプのロボットを利用することができ、例えば、水平多関節ロボットアーム（ＳＣＡＲＡ）が使用されてもよい。
【００２４】
図６は、本発明の一実施形態に従う、Ｚ軸ハウジングに取り付けられたカメラユニット及びグリッパユニットを示す。図６に示されるように、Ｚ軸ハウジング６００は、グリッパユニット６０２及びカメラユニット６０４の装着箇所として機能し得る。これにより、カメラの光軸６０８とグリッパの機械的軸６１０との間のオフセット６０６がもたらされる。理想的には、据付け中、カメラの光軸６０８とグリッパの機械的軸６１０との間の略平行なアライメントを維持するような努力がなされる。しかしながら、慎重かつ正確な軸のアライメントには、製造コスト、部品コスト、及び据付けコストの増加など、コストがかかる場合がある。システムのアライメントがずれる場合は、これらのコストがいっそう膨らみ得、コストのかかる再アライメント手順を行うことになる。更に、複雑なＬＡＳは、多数のロボットアームを含む場合があり、更にコストが膨らむ可能性がある。
【００２５】
一実施形態に従って、自動アライメント処理は、ＬＡＳにおいてロボットアームを正しく据付ける、効果的で繰り返し可能な方法を提供し、かつ、使用中に、いずれかのロボットアームのアライメントがずれた場合にも、迅速なメンテナンス手順を提供する。図７は、本発明の一実施形態に従う、カメラベースの自動アライメントの方法を示す。７００において、Ｘ−Ｙ校正ツールを、第１の軸上のグリッパユニットにより把持することができる。Ｘ−Ｙ校正ツールは、作業面上の既知の場所において掴み上げることができ、又は技術者が、グリッパユニットがＸ−Ｙ校正ツールを把持するように手動で指示することができる。７０２において、グリッパユニットに連結された第２の軸上のカメラによってＸ−Ｙ校正ツールの画像を撮影することができる。撮影された画像に基づいて、カメラ軸とグリッパ軸との間のオフセットに対応する距離を決定することができる。このオフセットは機械的公差の影響を受けるので、プログラミングを介して予め定義することはできない。この処理中、距離は、更なるセンサ又は測定ツールを使用することなく決定することができる。７０４において、カメラとＺ軸との間でＺ校正を実行し、モータユニット内の目印の高さの正確な測定を可能にすることができる。幾つかの実施形態では、Ｘ−Ｙ校正中又はＺ校正中に、レンズ歪みを算出し、補正することもできる。幾つかの実施形態では、レンズ歪みは、アライメント処理中、別個の工程として補正することができる。一旦上記のアライメント工程がうまく実行されると、システムは、使用の準備が整う。幾つかの実施形態では、カメラユニットを校正し、レンズ歪みを補正した後、カメラユニットを使用して、ＬＡＳの作業面上の１つ以上の目印を識別し、ＬＡＳ内でロボットアームをアライメントすることができる。
【００２６】
複雑なＬＡＳは、それぞれが独自のカメラを有する多数のロボットアームを含み得る。したがって、所与のＬＡＳの固定コストを削減するために、安価なカメラを利用する場合がある。しかしながら、安価なカメラは、通常、高価なカメラよりも大きなレンズ歪みの影響に悩まされる。これらの歪みは、アライメント処理中に考慮し、補正することができる。
【００２７】
図８は、一般的な放射方向の歪みの例を示す。レンズの幾何学的特性により、画像が記録されるときに、特定の歪みが生成される場合がある。歪みには、２つの基本的なタイプがある。１つは放射方向の歪みであり、ピンクッション８００又はバレル歪み８０２としても知られる。これは、レンズが球面形状であるということ、及び、レンズの中央を通過しチップに当たる光は、殆ど全く屈折しない一方で、レンズの縁部を通過する光は、より大きな屈曲及び屈折効果を受けるという事実により引き起こされる。第２の種類の歪みは、レンズとカメラチップとの間の角度により生成される接線方向の歪みである。
【００２８】
放射方向の歪みは、比較的高品質なレンズ又はカメラを使用するときに、より重要なファクタになる傾向がある。放射方向の歪みは、多項式級数として表すことができる。
【００２９】
【数１】
2015530276.tif 000003
ここで
【００３０】
【数２】
2015530276.tif 000004
は、（ｘ，ｙ）に対応する歪み補正点、α１，α２，．．．は、放射方向の歪みを表す係数、ｒは、この場合は点（０，０）に対応する、画像の中心点からの点（ｘ，ｙ）のユークリッド距離である。
【００３１】
校正処理は、係数を決定するために実行することができる。校正の目的のために、α１が、十分に放射方向の歪みを表し、高次の効果は無視してもよいと仮定する。歪みを表すために使用される別のモデルは、フィッツギボン分割モデル（Ｆｉｔｚｇｉｂｂｏｎ  ｄｉｖｉｓｉｏｎ  ｍｏｄｅｌ）である。
【００３２】
【数３】
2015530276.tif 000005
【００３３】
小さなα１を扱う場合、このモデルは、１つのファクタに対する多項式級数の結果とほとんど同一である。フィッツギボンの分割モデルで使用される方程式（１２）を書き直すと、以下の方程式が形成される。
【００３４】
【数４】
2015530276.tif 000006
【００３５】
この場合、ｓは、基準化因子を表し、
【００３６】
【数５】
2015530276.tif 000007
は、歪み補正点（ｘ，ｙ）に対応する。
【００３７】
点ｘが、線
【００３８】
【数６】
2015530276.tif 000008
上に在るという仮定を使用して、線が、放射方向の歪みの結果として円上のセグメント上に形成され得ることを示すことができる。
【００３９】
【数７】
2015530276.tif 000009
【００４０】
この方程式が、その後、円の方程式
【００４１】
【数８】
2015530276.tif 000010
の形式に適用される場合、次のようになる。
【００４２】
【数９】
2015530276.tif 000011
【００４３】
したがって、ｘｍ，ｙｍ，Ｒについて以下が成り立つ。
【００４４】
【数１０】
2015530276.tif 000012
【００４５】
この特性を使用して、係数α１を決定することができる。一実施形態に従って、検出された目印は、画像の縁部までずらされ、その後、ロボットの軸の１つを移動させることにより、その縁部に沿って移動される。目印の中心点位置は、この処理中に記録することができる。ロボットの軸の１つのみが移動されたため、測定された中心点の全てが、それらを互いに連結する線に沿って存在する。しかしながら、これは上記の歪みに起因するケースではない。次に、円関数が測定された中心点にフィッティングされる。その後、方程式（７）をこの関数に適用し、歪みパラメータα１を以下のように決定することができる。
【００４６】
【数１１】
2015530276.tif 000013
ここで（ｘｍ，ｙｍ）は、円の中心点、Ｒは、半径である。
【００４７】
この処理は、その後、画像の４つのコーナー全てで繰り返すことができ、それによって、この方法で測定された係数を決定することができる。
【００４８】
次に、計算効率のよい画像変換を確保するために、変換マスクを決定することができる。その際、画像の次元を使用して行列が生成される。行列のそれぞれの要素
【００４９】
【数１２】
2015530276.tif 000014
は、原画像からの画素に対応し、その画素の補正された位置
【００５０】
【数１３】
2015530276.tif 000015
を含有する。このマスクは、その後、画像が記録されるとすぐに、画像内のそれぞれの画素を補正するために使用される。オープンソースライブラリのＯｐｅｎＣＶなどの画像処理ライブラリは、この目的のために実装された方法を含み、画像がカメラにより撮影されたときに、画像を補正するために使用することができる。
【００５１】
幾つかの実施形態では、チェス又はチェッカーボードパターンなどの周期的繰り返しパターン目印を、レンズ歪みを考慮し、補正するために使用することができる。一実施形態に従って、周期的繰り返しパターン目印は、ロボットにより把持し得るツールに印刷又は装着することができる。一実施形態に従って、このツールは、図３に示されるＸ−Ｙ校正ツールと同様であってもよいが、円形目印よりもむしろ、チェッカーボードなどの、１つ以上の周期的繰り返しパターン目印を特徴とする。これにより、ロボットは、カメラの視野を通して周期的繰り返しパターンを回転させることが可能となり、一方また、周期的繰り返しパターンを、カメラに対してより近くに、又はカメラからより離れて移動させることが可能になる。
【００５２】
一実施形態に従って、周期的繰り返しパターン目印は、図４に示されるＺ校正ツールなどの階段状ツールに印刷又は装着することもできる。この場合、ロボットは（それ故カメラも）パターンから独立に移動し、また、ロボットは、カメラの視野内の複数の異なる位置においてパターンが可視であるように、移動させることができる。
【００５３】
一実施形態に従って、カメラを通して見られるような、周期的繰り返しパターン目印の特徴（例えば、チェスボードパターンの縁部、単一のフィールド及びフィールドの数）を決定することができる。目印の幾何学的特性は、システムに既知なので、これらの特徴の座標は、フィッティングアルゴリズムを使用して、これらの特徴の既知の／期待される位置と比較することができる。このようなフィッティングアルゴリズムは、ＯｐｅｎＣＶ、Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｏｏｌｂｏｘ  ｆｏｒ  Ｍａｔｌａｂ（登録商標）、ＤＬＲ  ＣａｌＬａｂ  ａｎｄ  ＣａｌＤｅ−Ｔｈｅ  ＤＬＲ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｏｏｌｂｏｘ、及び他の同様のソフトウェアライブラリから入手可能である。フィッティングアルゴリズムを使用して、その後、コンピュータ視覚システムの内因性及び外因性パラメータを推定することができる。内因性及び外因性パラメータを使用して、使用中のカメラ−レンズの組合せのための歪み係数を決定することができる。１つ以上の周期的繰り返しパターン目印を異なる場所に有する複数の画像を使用することにより、アルゴリズムにより決定された歪み係数の精度が向上する。
【００５４】
図９は、本発明の一実施形態に従う、Ｘ−Ｙ校正の方法を示す。幾つかの実施形態では、レンズ歪みが補正された後、Ｘ−Ｙ校正ツールを使用して、カメラ軸とグリッパユニット軸との間のオフセットを決定し、カメラを校正することができる。上記のＸ−Ｙ校正ツールは、カメラ軸とグリッパ軸との間のＸ距離及びＹ距離を決定するために、ロボットの動作領域内に持ち込むことができる。一旦Ｘ−Ｙ校正処理が開始されると、ユーザ（例えば、サービス技術者）は、ツールの上方にロボットを位置付けるように指示することができる。ロボットは、その後、把持高さへ移動させることができ、また、ユーザは、ロボットの位置を調整する機会を、もう一回分有し得る。９００において、ロボットアームのグリッパユニットにより、Ｘ−Ｙ校正ツールを把持することができ、ロボットの現在のＸ−Ｙ位置を記録することができる。次に、ロボットは、作業面の空いている領域へ移動し、ツールを、校正処理のための指定の又は所定の高さまで下降させることができる。９０２において、グリッパユニットは、ツール上の少なくとも２つの目印が、カメラユニットにより撮影された画像内でうまく検出されるまで、Ｘ−Ｙ校正ツールを、おおまかに漸増させながら回転させることができる。次に、ツールを、最も遠い目印が検出できなくなるまで、わずかに漸増させながら回転させる。ツールは、その後、カメラの全視野を通して一度回転され、ツール上の目印の位置が、等間隔で記録される。Ｘ−Ｙ校正ツールが、カメラの視野を通して回転するとき、カメラは、プログラムされた間隔で複数の画像を撮影し、校正ツールの弧、及びツール上にエッチングされた複数の目印を撮影することができる。９０４において、記録された目印の位置に基づいて、第１の軸に対応する回転の中心点を決定することができる。回転中は、目印は全て、把持ロボットの軸を中心とする円形経路に沿って移動するので、第１の軸と第２の軸との間のオフセットを決定するために、円形経路の中心点を決定することができる。９０６において、画素での距離は、第１の軸から第２の軸に対するオフセットを使用して決定することができる。しかしながら、機械的公差により、カメラ軸及びグリッパユニット軸は、互いに平行にアライメントされない場合がある。そのため、校正ツールの円形経路を記録するというよりもむしろ、観察される校正ツールの経路は、楕円である。
【００５５】
図１０は、本発明の一実施形態に従う、校正中のＸ−Ｙ校正ツールの経路の射影を示す。上記のように、レンズ効果並びにグリッパ軸に対するカメラ軸の傾き及びオフセットの組合せにより、目印の円形経路は、楕円などの円錐曲線として記録される。図１０に示されるように、１０００は、世界座標系における円を示し、１００２は、カメラの光軸を示し、１００４は、楕円の形の、カメラシステムにおける射影された円を示す。
【００５６】
以下に、この射影を数学的な形式で示す。
【００５７】
カメラの撮像特性に関し、以下の内因性画像行列Ｋを仮定することができる。
【００５８】
【数１４】
2015530276.tif 000016
ここでｆは、焦点距離、点Ｐ＝（ｕ０，ｖ０）は、画像の中心点を表す。点Ｘ＝［Ｘ，Ｙ，Ｚ］は、その後、以下のように、点
【００５９】
【数１５】
2015530276.tif 000017
にマッピングされる。
【００６０】
【数１６】
2015530276.tif 000018
ここでＫは、上記の内因性カメラ特性の行列、［Ｒ  Ｔ］は、外因性カメラ行列であり、ここでＲは、回転を表し、Ｔは、世界座標系に対するカメラ座標系の変換を表し、λは、０でない基準化因子である。
【００６１】
円の中心点が、［ＸＣ，ＹＣ，０］と仮定される場合、円内のそれぞれの点Ｘは、以下の方程式を満足しなければならない。
【００６２】
【数１７】
2015530276.tif 000019
ここでＣは、円を定義する行列である。
【００６３】
【数１８】
2015530276.tif 000020
【００６４】
そして、この円は、以下のように、楕円Ｅに描かれる。
【００６５】
【数１９】
2015530276.tif 000021
ここでＲ１及びＲ２は、回転行列Ｒにおける最初の２列である。ここで、楕円は、以下のように表すことができ、
【００６６】
【数２０】
2015530276.tif 000022
又は、以下のｘ及びｙの関数として記述することができる。
【００６７】
【数２１】
2015530276.tif 000023
【００６８】
この式は、一般性を失うことなくＡ＝１を仮定することができる場合の、円錐の一般的な表現である。
【００６９】
【数２２】
2015530276.tif 000024
【００７０】
以下の条件により、楕円であることが保証される（したがって放物線及び双曲線が除外される）。
【００７１】
【数２３】
2015530276.tif 000025
【００７２】
一実施形態に従って、以前に測定された点を使用して、楕円を円の軌跡に沿って定置することができる。そのために、最小誤差二乗の方法を使用することができる。この作業は、ＡＬＧＬＩＢなどの数値解析及びデータ処理ライブラリを使用して解決することができる。代替的な数値解析方法を用いることもできる。そのために、方程式（１５）からの関数を、フィッティングアルゴリズムに移すことができる。更に、アルゴリズムには、反復を開始するために使用することができる初期値を入力できる。これらの値は、方程式（１５）における５点の組合せを使用し、かつその後方程式系を解くことにより求められる。この処理は、算出された係数をその後平均するために、幾つかの可能な点の組合せを用いて繰り返される。これらの値は、フィッティングアルゴリズムのための初期値としてその後使用され、フィッティングアルゴリズムは、反復処理を使用して、最小誤差二乗に関して最適な解が求められる。
【００７３】
図１１は、本発明の一実施形態に従う、校正中に画像撮影デバイスの撮像特性により生成された楕円を示す。図１０に関して上記のように決定された、それぞれの楕円１１００の中心点１１０２は、直線１１０４に沿って分散している。ここで、射影された円の中心点は、これらの楕円の中心点を結ぶ線上に位置している。Ｘ及びＹ方向におけるオフセット距離を提供する、射影された円の中心点は、以下の方法を使用して決定することができ、この方法では、円の中心点を決定するために射影によって保持される半径の比率を使用する。
【００７４】
射影前の２つの円の半径の比率：
【００７５】
【数２４】
2015530276.tif 000026
【００７６】
ここで、比率ｃｒは、楕円と楕円の中心点を結ぶ線が交差する、交点ｐ１，ｐ２，ｐ４  １１０６、１１０８、１１１２により生成されるセグメントの比率に対応する。
【００７７】
【数２５】
2015530276.tif 000027
【００７８】
そして、この方程式は、円の中心点
【００７９】
【数２６】
2015530276.tif 000028
１１１０から交点の１つまでの距離を使用して、解くことができる。
【００８０】
【数２７】
2015530276.tif 000029
【００８１】
ｃｙを算出するために使用される半径は、目印から回転中心までの距離、又は換言すれば、グリッパユニットに把持されたＸ−Ｙ校正ツールの把持された部分の中心点までの距離に対応する。２つの同心円を、この方法の適用に使用することができる。上記の校正ツールを使用するとき、５つの円が検出されるので、校正ツール上のこれらの５つの目印に対応して、円のペアの異なる組合せが合計で１０通り可能である。最後に、円のペアの１０通りの組合せに基づいて、算出された中心点の数学的平均及び標準偏差が求められ、プログラムされた制限値と比較される。中心点がうまく決定されると、その後、カメラ軸とグリッパユニット軸との間のオフセットを画素で決定することができる。上記のように、上で使用される半径は、画素で測定された際の、目印とグリッパユニット軸との間の距離に相当する。グリッパユニットは、Ｘ−Ｙ校正ツールをカメラの視界の中でセンタリングすることができ、カメラは、画像の中心点を識別することができ、その後、中心点から中心点に最も近いマーカへの、Ｘ及びＹ軸上での画素数を決定することができる。中心点から最も近いマーカまでの距離、及び最も近いマーカからグリッパユニット軸までの距離に基づいて、オフセットを画素で算出することができる。
【００８２】
幾つかの実施形態では、画素対モータステップの比率を決定して、円の中心点の座標を、画素でのカメラ座標系からステップでのモータ座標系に変換することができる。そのために、ロボットアームは、最初に保存されたツール記録位置へ移動し、ツールをその位置に戻すことができる。まず、目印はカメラ画像内でセンタリングされる。幾つかの実施形態では、この目印は、説明された例示的なツールの中央の目印などの、Ｘ−Ｙ校正ツール上の特定の目印とすることができる。しかしながら、いずれの目印が使用されてもよい。ロボットは、その後、（ステップで）指定された距離だけＸ及びＹ方向に移動し、一方で同時に、カメラシステムは、目印の位置を記録する。これらの値は、その後、両軸の画素対ステップの比率を算出するために使用される。以前に決定された円の中心点を使用して、この比率は、その後、グリッパ軸からカメラ画像の中心点までの距離をモータステップで決定するために使用することができる。
【００８３】
一実施形態に従って、上記の校正処理を、少なくとも１つの他の把持高さにおいて繰り返し、カメラの光軸から、高さＺでのＸ及びＹ方向におけるグリッパロボットの機械的軸までの距離間の相関を表す、線形オフセット関数
【００８４】
【数２８】
2015530276.tif 000030
を決定することができる。この操作が３つ以上の異なる高さで実行される場合、その後、測定された点（ｄｘ，ｙ，ｚ）を使用して、線形関数でフィッティングする。この関数は、全体の作業空間の上方の、グリッパの機械的軸に対するカメラの光軸の傾きに相当する。
【００８５】
別の実施形態では、歪み補正工程は、Ｘ−Ｙ校正工程と組み合わせることができる。上記のように、Ｘ−Ｙ校正ツールがカメラ視野を通して回転されるとき、一連の画像を、カメラにより撮影することができる。ツールは、図３に示される円形目印、又はチェッカーボードなどの周期的繰り返しパターン目印など、１つ以上の目印を含むことができる。一連の画像を使用して、上記のように、システムは、歪み補正パラメータを決定することができる。続いて、歪み補正を画像に適用することができる。Ｘ−Ｙ校正は、その後、上記のように、歪み補正された一連の画像を使用して実行され得る。Ｘ−Ｙ校正の係数は、円運動を決定するために、目印内の既知の点を、歪み補正された一連の画像にフィッティングすることにより決定することができる。これらの特定の点には、円形目印の中心点、又は周期的繰り返しパターン目印の縁部が含まれ得る。
【００８６】
図１２は、本発明の一実施形態に従う、グリッパユニットの高さを決定するための目印の三角測量を示す。上記及び図４に示されるＺ校正ツールを、この処理に使用することができる。まず、ロボットアームは、Ｚ校正ツール上方の位置へ移動し、第１の目印を探索することができる。一実施形態に従って、第１の目印は、カメラによって識別することができるバーコード又は他のラベルにより一意に識別することができる。ロボットは、その後、目印が画像の中央となるように自身を再位置付けする。一旦目印がうまくセンタリングされると、ロボットは、目印の左又は右へ所与の距離だけ移動し、位置を記録する。この例では、三角測量は、カメラ画像レベル１２００における視差、又はマーカ位置１  １２０２からマーカ位置２  １２０４への目印の見かけ上の位置の変化に基づいて実行することができる。カメラは、マーカの左又は右へ既知の距離を移動する。距離は、モータの位置に基づいて、ステップで決定することができる。目印の見かけ上の位置の変化は、カメラにより画素で決定することができる。図１２に示されるように、これらの測定に基づいて、三角測量を使用して画素あたりのステップ数での目印の高さを決定することができる。
【００８７】
【数２９】
2015530276.tif 000031
【００８８】
この場合、ｆは、焦点距離に対応する。しかしながら、測定が行われる被写界深度範囲に起因して、明確に決定することができないため、ｆは１であると仮定してもよい。三角測量を使用して一旦目印の高さが決定されると、決定された高さは、ｚ軸でのステップ数に変換することができる。そのために、ロボットアームを、上で決定されたＸ−Ｙオフセットを使用して、目印の真上に位置付けることができる。次に、ロボットアームにおける圧力センサが、所定のレベルの抵抗を検出すると、移動が停止されるように、ｚ軸の移動パラメータが調整される。ロボットは、その後、グリッパが目印に接触し、その点において圧力センサが抵抗を検出しロボットを停止させるまで、ｚ軸に沿ってゆっくり下降する。ステップでのグリッパの現在位置が、その後記憶される。
【００８９】
一実施形態に従って、この処理は、ツールの３つの工程の全てにおいて繰り返すことができる。最後に、これらの３つの測定点（ｚ［ステップ／画素］，ｚ［ステップ］）を使用して、線形関数でフィッティングする。三角測量を使用して決定された画素での高さを用いることで、この関数を使用して、ｚ軸に対するステップでの高さを決定することができるようになる。
【００９０】
図１３は、一実施形態に従う、Ｚ校正の方法を示す。１３００において、第１の目印は、Ｚ校正ツール上で識別される。上述のように、Ｚ校正ツールは、作業面上方の異なる高さに位置付けられた複数の目印を含むことができる。１３０２において、ロボットアームから第１の目印までの距離を測定し、記憶することができる。上記のように、三角測量を使用して画素あたりのステップ数での距離を決定することで、第１の目印までの距離を算出することができ、グリッパユニットの物理的接触（この場合、グリッパユニットは、目印と接触するまで下降され得る）を使用して、ステップでの高さを測定することができる。１３０４において、この測定は、Ｚ校正ツール上の、それぞれの残りの目印について繰り返される。１３０６において、それぞれの測定値のペア（画素あたりのステップでの距離、及びステップでの距離）を使用して、線形距離関数でフィッティングする。この線形距離関数を使用して、その後、画素でのカメラ座標系とステップでのロボット座標系との間で変換を行うことができるため、Ｚ軸上でロボットアームが校正される。
【００９１】
一実施形態に従って、歪み補正工程は、Ｚ校正工程と組み合わせることもできる。上記のように、レンズ歪みを補正するために、１つ以上の目印の一連の画像を、カメラにより撮影することができる。図４に示されるものなどのＺ校正ツールは、１つ以上の周期的繰り返しパターン目印と共に使用することができる。目印は、カメラの視野内の複数の異なる位置に定置することができる。これらの画像を使用して、歪み補正係数を決定し、その後、一連の画像において歪みを補正するために使用することができる。
【００９２】
歪み補正された画像を使用して、Ｚ校正を、その後、実行することができる。周期的繰り返しパターン目印の形状は既知であるため、システムは、既知のパターンを用いて、画素と距離の関係を決定することができる。例えば、チェッカーボードパターン目印内の縁部間の距離は、メモリに記憶することができる。画像の歪みが補正されると、画像を分析して、目印内の縁部間の画素数を決定することができ、画素と距離の関係を決定することができる。ロボットアームは、上記のように、その後、目印と接触するように下降することができる。ロボットアームが、目印と接触するために走行した距離は、ロボット参照システム上の画素と距離の関係を、画素とステップの関係に変換するために記録し、使用することができる。一実施形態に従って、この処理を、Ｚ校正ツールの更なる工程に対して繰り返すこともできる。
【００９３】
図１４は、一実施形態に従う、カメラベースの自動アライメントシステムの精度を決定するためのシステムを示す。図１４に示されるように、アライメント処理が完了した後、プローブ１４００をグリッパユニットにより把持し、作業面上の目印１４０４の上方に位置付けることができる。レーザー距離センサ１４０６を使用して、レーザー１４０２でプローブを標的とすることによりプローブ先端までの距離を決定することができる。精度試験のために使用される目印は、目印の中心点から目印に隣接する壁までの距離が既知となるように選ぶことができる。レーザー距離センサからプローブ先端までの距離がその後測定される。測定された距離と後壁までの距離との間の差が、その後決定される。レーザー距離センサ１４０６は、その後、９０度向きを変え、処理を繰り返すことができる。２つの点（Ｘ１，Ｙ１）ｕｎｄ（Ｘ２，Ｙ２）における２つの測定結果及び既知のプローブ先端半径Ｒを使用して、その後、以下のように、プローブ先端の中心点を決定することができる。
【００９４】
【数３０】
2015530276.tif 000032
【００９５】
しかしながら、これらの２つの点及び半径は、最終的な解を与えない。式（２６）及び（２７）に見ることができるように、円に対して、２つの可能な中心点（Ｘｍ１，ｍ２，Ｙｍ１，ｍ２）が存在する。しかしながら、可能な中心点の一方と測定された目印の中心点との間には、通常大きな差がある。一旦正確な中心点が識別されると、中心点の測定値を比較して、自動アライメントシステムの精度を決定することができる。
【００９６】
図１５は、本発明の一実施形態に従う、自動アライメントシステムのブロック図を示す。自動アライメントシステムは、軸モータ１５００ａ、１５００ｂ、及び１５００ｃなどの、複数の軸モータ１５００を含むことができる。軸モータ１５００を使用して、作業面上方の３次元空間において、ロボットアーム及びグリッパユニットを位置付けることができる。カメラなどの画像撮影デバイス１５０２を、グリッパユニットに連結し、作業面にロボットアームを自動的にアライメントするために使用することができる。１つ以上のモータコントローラ１５０４及び画像撮影デバイスコントローラ１５０６は、自動アライメント処理中、中央コントローラ１５０８からの指示を中継することができる。幾つかの実施形態では、モータコントローラ１５０４は、エンコーダカウント又はステップなどの、それぞれの軸モータからの位置情報を記録することができ、画像撮影デバイスコントローラ１５０６は、画像撮影デバイスに、定期的に画像を撮影し、処理のために中央コントローラ１５０８へ撮影された画像を渡すように指示することができる。中央コントローラ１５０８は、プロセッサ１５１０からアライメント指示を受信し、モータコントローラ及び画像撮影デバイスコントローラから受信した、位置情報及び撮影された画像などの、アライメント結果を返すことができる。プロセッサ１５１０は、中央コントローラから返された情報を使用して、カメラ軸とグリッパユニット軸との間のオフセットを決定し、グリッパユニットの高さを三角測量し、アライメント処理が完了したかどうかを決定することができる。幾つかの実施形態では、画像プロセッサを使用して、プロセッサ１５１０とは別に画像処理操作を実行することができる。プロセッサ１５１０は、コンピュータコードを含み得る自動アライメントモジュール１５１２ａを含み得るメモリ１５１２に連結することができ、このコンピュータコードは、自動アライメントを実行するためにプロセッサ１５１０によって実行可能であり、軸モータにＸ−Ｙ平面に沿ってロボットアームを移動させる指示、及び画像撮影デバイスに作業面上の目印の画像を撮影させ、撮影された画像を分析させる指示を含む。メモリは、決定された目印の場所１５１２ｂ、及び、１つ以上の目印の場所に対する、作業面上の要素（引き出し、器具など）の位置データなどのアライメントデータ１５１２ｃ用の記憶装置を更に含むこともできる。
【００９７】
プロセッサ１５１０は、データ処理用の任意の好適なデータプロセッサを含んでもよい。例えば、プロセッサは、システムの様々な構成要素を動作させるために個別に又は共に機能する１つ以上のマイクロプロセッサを含んでもよい。
【００９８】
メモリ１５１２は、任意の好適な組合せにおいて、任意の好適なタイプのメモリデバイスを含んでもよい。メモリ１５１２は、任意の好適な電気的、磁気的、及び／又は光学的データ記憶技術を使用して動作する、１つ以上の揮発性又は不揮発性メモリデバイスを含んでもよい。
【００９９】
図に関連して本明細書に記載する様々な関与物（ｐａｒｔｉｃｉｐａｎｔ）及び要素は、１つ以上のコンピュータ装置を動作させ、本明細書に記載する機能を容易にすることができる。任意のサーバ、プロセッサ、又はデータベースを含む、上記説明における任意の要素は、例えば、機能ユニット及びラボラトリー・オートメーション・システム、軸コントローラ、センサコントローラなどのモジュールを動作させる、かつ／又は制御するための機能など、本明細書で説明された機能を容易にするために、任意の好適な数のサブシステムを使用してもよい。
【０１００】
このようなサブシステム又は構成要素の例を、図１６に示す。図１６に示されたサブシステムは、システムバス４４４５を介して相互接続される。プリンタ４４４４、キーボード４４４８、固定ディスク４４４９（又はコンピュータ可読媒体を含む他のメモリ）、ディスプレイアダプタ４４８２に連結されたモニタ４４４６、及びその他などの追加のサブシステムが示される。Ｉ／Ｏコントローラ４４４１（プロセッサ又は他の好適なコントローラであってよい）に連結する周辺機器及び入力／出力（Ｉ／Ｏ）デバイスは、シリアルポート４４８４などの当該技術分野において既知の、任意の数の手段によりコンピュータシステムに接続することができる。例えば、シリアルポート４４８４又は外部インタフェース４４８１を使用して、コンピュータ装置を、インターネットなどのワイド・エリア・ネットワーク、マウス入力デバイス、又はスキャナと接続することができる。システムバスを介した相互接続により、中央プロセッサ４４４３は、それぞれのサブシステムと通信し、システムメモリ４４４２又は固定ディスク４４４９からの指示の実行を制御することが可能になり、並びにサブシステム間の情報の交換も可能になる。システムメモリ４４４２及び／又は固定ディスク４４４９は、コンピュータ可読媒体の具体例であり得る。
【０１０１】
本技術の実施形態は、上記の実施形態に限定されない。上記の態様の一部についての具体的な詳細が、上で提供された。特定の態様の具体的な詳細は、本技術の実施形態の趣旨及び範囲を逸脱することなく、任意の好適な方式で組み合わされてもよい。例えば、バックエンド処理、データ分析、データ収集、及び他の処理は、本技術の幾つかの実施形態において全て組み合わされてもよい。しかしながら、本技術の他の実施形態は、それぞれの個々の態様、又はこれらの個々の態様の特定の組合せに関する特定の実施形態に向けられてもよい。
【０１０２】
上記のように本技術は、モジュール様式又は統合された様式において（有形の物理媒体に記憶される）コンピュータソフトウェアを使用する制御論理の形式で実施することができることが理解されるべきである。更に、本技術は、任意の画像処理の形式及び／又はその組合せにおいて実施されてもよい。本明細書で提供される開示及び教示に基づいて、当業者は、ハードウェア並びにハードウェア及びソフトウエアの組合せを使用して本技術を実施するための他の手段及び／又は方法を知り、理解するであろう。
【０１０３】
この出願において説明されたソフトウェアコンポーネント又は機能のいずれも、任意の適切なコンピュータ言語、例えば、Ｊａｖａ（登録商標）、Ｃ＋＋又はＰｅｒｌなどを使用し、例えば、従来技術又はオブジェクト指向技術を使用して、プロセッサにより実行されるソフトウェアコードとして実施されてもよい。ソフトウェアコードは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードドライブ若しくはフロッピディスクなどの磁気媒体、又はＣＤ−ＲＯＭなどの光学媒体などのコンピュータ可読媒体上に、一連の指示又はコマンドとして記憶されてもよい。任意のこのようなコンピュータ可読媒体は、単一の計算装置上又は装置内に存在してもよいし、システム又はネットワーク内の異なる計算装置上又は装置内に存在してもよい。
【０１０４】
上記の説明は、例示であり、限定的なものではない。本開示の検討により、当業者には、本技術の多くの変形例が明らかとなるであろう。したがって、本技術の範囲は、上記の説明に関わらず判断されるべきであり、むしろ、係属中の特許請求の範囲に対して、その範囲全体及び均等物と共に判断されるべきである。
【０１０５】
任意の実施形態からの１つ以上の特徴は、本技術の範囲から逸脱することなく、任意の他の実施形態の１つ以上の特徴と組み合わされてもよい。
【０１０６】
「ａ」、「ａｎ」又は「ｔｈｅ」の記述は、特にそうでないことを断らない限り、「１つ以上」を意味することを意図する。
【０１０７】
全ての特許、特許出願、刊行物及び上記説明は、全ての目的のために、それらの全体が、参照により本明細書に組み込まれる。先行技術は認められない。
【図２】
2015530276.tif 000033
【図３】
2015530276.tif 000034
【図４】
2015530276.tif 000035
【図５】
2015530276.tif 000036
【図６】
2015530276.tif 000037
【図１１】
2015530276.tif 000038
【図１４】
2015530276.tif 000039
【図１】
2015530276.tif 000040
【図７】
2015530276.tif 000041
【図８】
2015530276.tif 000042
【図９】
2015530276.tif 000043
【図１０】
2015530276.tif 000044
【図１２】
2015530276.tif 000045
【図１３】
2015530276.tif 000046
【図１５】
2015530276.tif 000047
【図１６】
2015530276.tif 000048
【国際調査報告】
2015530276.tif 000049
2015530276.tif 000050
2015530276.tif 000051
2015530276.tif 000052
2015530276.tif 000053