(57)【要約】      （修正有）【課題】要求される組立精度より繰り返し位置精度が大きい場合であっても、自動で部品組付けを行う。【解決手段】第２部品画像に基づいて、組付け部位の位置を認識する第２部品認識手段と、組付け部位の位置に第１部品５１を移動させる部品移動手段と、部品移動手段により移動された第１部品５１を第２部品５２に組付ける組付実施手段と、組付けが成功したかを判断する組付判断手段と、組付けが失敗した場合に、突き当て画像に基づいて、第１部品５１の位置を認識する第１部品認識手段と、組付け部位の位置および第１部品５１の位置に基づいて、第１部品５１に対する位置補正量を算出する補正量算出手段と、位置補正量に基づいて、第１部品５１を移動させる部品位置補正手段とを備え、組付実施手段は、部品位置補正手段により移動された第１部品５１を第２部品５２に組付ける。【選択図】図１
2012143844.tif 000002
【特許請求の範囲】
【請求項１】
ロボットにより移動可能な第１部品を固定保持された第２部品に組付ける自動組立システムにおいて、
前記第２部品の前記第１部品との組付け部位を撮像する撮像装置と、
前記撮像装置により撮像された組付け前の第２部品画像に基づいて、前記第２部品の組付け部位の位置を認識する第２部品認識手段と、
前記第２部品認識手段により認識された第２部品の組付け部位の位置に、前記第１部品を移動させる部品移動手段と、
前記部品移動手段により移動された第１部品の前記第２部品への組付けを行う組付実施手段と、
前記組付実施手段により第１部品の第２部品への組付けが成功したかを判断する組付判断手段と、
前記組付判断手段により第１部品の第２部品への組付けが失敗したと判断された場合に、前記撮像装置により撮像された前記第１部品と前記第２部品との突き当て画像に基づいて、前記第１部品の位置を認識する第１部品認識手段と、
前記第２部品認識手段により認識された第２部品の組付け部位の位置および前記第１部品認識手段により認識された第１部品の位置に基づいて、第１部品に対する位置補正量を算出する補正量算出手段と、
前記補正量算出手段により算出された位置補正量に基づいて、第１部品を移動させる補正量算出手段とを備え、
前記組付実施手段は、前記補正量算出手段により移動された第１部品に対して、前記第２部品への組付けを行う
ことを特徴とする自動組立システム。
【請求項２】
前記補正量算出手段は、前記第１部品と前記第２部品との突き当て面上における垂直な２方向に対して、位置補正量を算出する
ことを特徴とする請求項１記載の自動組立システム。
【請求項３】
ロボットにより移動可能な第１部品を固定保持された第２部品に組付ける自動組立方法において、
撮像装置により撮像された組付け前の第２部品画像に基づいて、前記第２部品の組付け部位の位置を認識する第２部品認識ステップと、
前記第２部品認識ステップにおいて認識した第２部品の組付け部位の位置に、前記第１部品を移動させる部品移動ステップと、
前記部品移動ステップにおいて移動させた第１部品に対して、前記第２部品への組付けを行う組付実施ステップと、
前記組付実施ステップにおける第１部品の第２部品への組付けが成功したかを判断する組付判断ステップと、
前記組付判断ステップにおいて第１部品の第２部品への組付けが失敗したと判断された場合に、前記撮像装置により撮像された前記第１部品と前記第２部品との突き当て画像に基づいて、前記第１部品の位置を認識する第１部品認識ステップと、
前記第２部品認識ステップにおいて認識した第２部品の組付け部位の位置および前記第１部品認識ステップにおいて認識した第１部品の位置に基づいて、第１部品に対する位置補正量を算出する補正量算出ステップと、
前記補正量算出ステップにおいて算出した位置補正量に基づいて、第１部品を移動させる補正量算出正ステップと、
前記補正量算出ステップにおいて移動させた第１部品に対して、前記第２部品への組付けを行う組付再実施ステップと
を有することを特徴とする自動組立方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、要求される組立精度がロボットの繰り返し位置精度より大きい場合でも、部品を組付け可能な自動組立システムおよび自動組立方法に関するものである。
【背景技術】
【０００２】
従来から、ロボットを用いた自動組立装置において、組付け前に部品の位置を画像処理を用いて認識し、部品の位置ずれを考慮したうえで部品の組付けを行うものが存在している（例えば特許文献１，２参照）。特許文献１に開示された自動組立装置では、まず、ロボットのハンドに把持された挿入部品を固定治具に固定された基板に組付ける前に、基板の撮影を行う。そして、得られた画像から基板の位置および角度のずれを算出する。その後、算出した位置・角度ずれに基づいて挿入部品の挿入位置・角度を補正したうえで移動を行い、組付けを行っている。
また、特許文献２に開示された自動組立装置についても同様に、電子部品の組付け前にこの電子部品と装着ポイントとのずれ量をパターン認識カメラにより認識し、位置補正を行ったうえで電子部品の移動を行い、組付けを行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１６０６２２号公報
【特許文献２】特開平１−３１８２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１，２に開示された方法では、組付け前に部品の位置ずれを算出し、この位置ずれに基づいて位置の補正を行ったうえで部品移動を行い、組付けを行っている。この場合、部品の移動精度は、ロボットの繰り返し位置精度に依存することになる。
そのため、要求される組立精度よりロボットが有する繰り返し位置精度が大きい場合、算出した補正後の位置に部品を移動させることができず、組立を行うことができないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、要求される組立精度よりロボットが有する繰り返し位置精度が大きい場合であっても、自動で部品の組付けを行うことができる自動組立システムおよび自動組立方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る自動組立システムは、第２部品の第１部品との組付け部位を撮像する撮像装置と、撮像装置により撮像された組付け前の第２部品画像に基づいて、第２部品の組付け部位の位置を認識する第２部品認識手段と、第２部品認識手段により認識された第２部品の組付け部位の位置に、第１部品を移動させる部品移動手段と、部品移動手段により移動された第１部品に対して、第２部品への組付けを行う組付実施手段と、組付実施手段により第１部品の第２部品への組付けが成功したかを判断する組付判断手段と、組付判断手段により第１部品の第２部品への組付けが失敗したと判断された場合に、撮像装置により撮像された第１部品と第２部品との突き当て画像に基づいて、第１部品の位置を認識する第１部品認識手段と、第２部品認識手段により認識された第２部品の組付け部位の位置および第１部品認識手段により認識された第１部品の位置に基づいて、第１部品に対する位置補正量を算出する補正量算出手段と、補正量算出手段により算出された位置補正量に基づいて、第１部品を移動させる部品位置補正手段とを備え、組付実施手段は、部品位置補正手段により移動された第１部品に対して、第２部品への組付けを行うものである。
【０００７】
また、この発明に係る自動組立方法は、撮像装置により撮像された組付け前の第２部品画像に基づいて、第２部品の組付け部位の位置を認識する第２部品認識ステップと、第２部品認識ステップにおいて認識した第２部品の組付け部位の位置に、第１部品を移動させる部品移動ステップと、部品移動ステップにおいて移動させた第１部品に対して、第２部品への組付けを行う組付実施ステップと、組付実施ステップにおける第１部品の第２部品への組付けが成功したかを判断する組付判断ステップと、組付判断ステップにおいて第１部品の第２部品への組付けが失敗したと判断された場合に、撮像装置により撮像された第１部品と第２部品との突き当て画像に基づいて、第１部品の位置を認識する第１部品認識ステップと、第２部品認識ステップにおいて認識した第２部品の組付け部位の位置および第１部品認識ステップにおいて認識した第１部品の位置に基づいて、第１部品に対する位置補正量を算出する補正量算出ステップと、補正量算出ステップにおいて算出した位置補正量に基づいて、第１部品を移動させる部品位置補正ステップと、部品位置補正ステップにおいて移動させた第１部品に対して、第２部品への組付けを行う組付再実施ステップとを有するものである。
【発明の効果】
【０００８】
この発明によれば、上記のように構成したので、要求される組立精度よりロボットが有する繰り返し位置精度が大きい場合であっても、自動で部品の組付けを行うことができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１に係る自動組立システムの構成を示す図である。
【図２】この発明の実施の形態１におけるロボット制御装置の構成を示すブロック図である。
【図３】この発明の実施の形態１における画像処理装置の構成を示すブロック図である。
【図４】この発明の実施の形態１に係る自動組立システムの動作を示すフローチャートである。
【図５】この発明の実施の形態１に係る自動組立システムにより組付けを行う円柱形部品とパイプ部品の構成を示す図である。
【図６】図５に示す円柱形部品をパイプ部品に組付けた際の挿入隙間を示す図である。
【図７】この発明の実施の形態１における撮像装置とパイプ部品との位置関係を示す図である。
【図８】この発明の実施の形態１における画像処理装置によるパイプ部品の穴位置の認識を示す図である。
【図９】この発明の実施の形態１における画像処理装置による円柱形部品位置の認識を示す図である。
【図１０】この発明の実施の形態１における画像処理装置による円柱形部品に対する位置補正量の算出を示す図である。
【図１１】この発明の実施の形態１におけるロボットによる円柱形部品の移動を示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る自動組立システムの構成を示す図であり、図２はロボット制御装置２の構成を示すブロック図であり、図３は画像処理装置４の構成を示すブロック図である。
自動組立システムは、ロボット１により移動可能な第１部品５１を固定保持された第２部品５２に組付けるものである。この自動組立システムは、図１に示すように、ロボット１、ロボット制御装置２、撮像装置３および画像処理装置４から構成されている。
【００１１】
ロボット１は、ロボット制御装置２の制御に従い、ハンド１ａで把持した第１部品５１をアーム１ｂを介して移動させ、固定治具５上に固定保持された第２部品５２に組付けるものである。ここで、ロボット１の位置決め精度は、エンコーダ（不図示）の順方向送りの移動精度＜組立要求精度＜繰り返し位置決め精度の関係を満たすものとする。
【００１２】
ロボット制御装置２は、ロボット１の動作を制御するものである。このロボット制御装置２は、図２に示すように、部品移動手段２１、組付実施手段２２、組付判断手段２３および部品位置補正手段２４から構成されている。
【００１３】
部品移動手段２１は、画像処理装置４の後述する第２部品認識手段４２により認識された第２部品５２の第１部品５１との組付け部位の位置に基づいて、第１部品５１の移動位置を算出し、第１部品５１を移動させるものである。
組付実施手段２２は、部品移動手段２１または部品位置補正手段２４により移動された第１部品５１の第２部品５２への組付けを行うものである。
【００１４】
組付判断手段２３は、組付実施手段２２により第１部品５１の第２部品５２への組付けが成功したかを判断するものである。
部品位置補正手段２４は、画像処理装置４の後述する補正量算出手段４６により算出された位置補正量に基づいて、第１部品５１に対して、エンコーダの分解能精度を用いた順送り方向の移動を行うものである。
【００１５】
撮像装置３は、第２部品５２の第１部品５１との組付け部位を撮像するものであり、照明３１およびカメラ３２を有している。撮像装置３は、画像処理装置４の後述する撮像要求手段４１からの撮像要求に応じて撮像を行う。この撮像装置３により撮像された画像は画像処理装置４に出力される。
【００１６】
画像処理装置４は、撮像装置３により撮像された画像を解析するものである。この画像処理装置４は、図３に示すように、撮像要求手段４１、第２部品認識手段４２、第２部品位置記録手段４３、第２部品画像記録手段４４、第１部品認識手段４５および補正量算出手段４６から構成されている。
【００１７】
撮像要求手段４１は、部品組付けを行う前または組付判断手段２３により第１部品５１の第２部品５２への組付けが失敗したと判断された場合に、撮像装置３に対して撮像要求を行うものである。
【００１８】
第２部品認識手段４２は、撮像装置３により撮像された第２部品画像（第１部品５１が組付けられる前の第２部品５２の組付け部位を示す画像）に基づいて、第２部品５２の第１部品５１との組付け部位の位置を認識するものである。この際、第２部品認識手段４２は、パターンマッチングや２値化などの方法により第２部品５２の組付け部位の位置を認識する。この第２部品認識手段４２により認識された第２部品５２の組付け部位の位置を示す情報は部品移動手段２１及び第２部品位置記録手段４３に出力される。
【００１９】
第２部品位置記録手段４３は、第２部品認識手段４２により認識された第２部品５２の組付け部位の位置を示す情報を記録するものである。この第２部品位置記録手段４３に記録されている第２部品５２の組付け部位の位置情報は補正量算出手段４６により抽出される。
第２部品画像記録手段４４は、撮像装置３により撮像された第２部品画像を記録するものである。
【００２０】
第１部品認識手段４５は、組付判断手段２３により第１部品５１の第２部品５２への組付けが失敗したと判断された後に撮像装置３により撮像された突き当て画像（第１部品５１が第２部品５２に突き当てられた状態の画像）に基づいて、第１部品５１の位置を認識するものである。この際、第１部品認識手段４５は、パターンマッチングや２値化、第２部品画像記録手段４４に記録されている第２部品画像との背景差分などの方法により第１部品５１の位置を認識する。この第１部品認識手段４５により認識された第１部品５１の位置を示す情報は補正量算出手段４６に出力される。
【００２１】
補正量算出手段４６は、第２部品位置記録手段４３に記録されている第２部品５２の組付け部位の位置と、第１部品認識手段４５により認識された第１部品５１の位置とに基づいて、第１部品５１と第２部品５２との相対位置関係（ずれ）を算出し、第１部品５１に対する位置補正量を算出するものである。なおこの際、補正量算出手段４６は、第１部品５１と第２部品５２との突き当て面上における垂直な２方向に対して、位置補正量を算出する。この補正量算出手段４６により算出された位置補正量を示す情報は部品位置補正手段２４に出力される。
【００２２】
次に、上記のように構成された自動組立システムの動作について説明する。
図４はこの発明の実施の形態１に係る自動組立システムの動作を示すフローチャートである。なお以下では、図５に示す円柱形部品（第１部品）５１を、この円柱形部品５１が挿入される穴５２ａを有するパイプ部品（第２部品）５２に挿入する場合の動作について説明を行う。ここで、パイプ部品５２の穴５２ａの直径はＤ１であり、円柱形部品５１の直径はＤ２（＜Ｄ１）であり、両部品の挿入隙間はＣ１であるとする（図６参照）。また、撮像装置３とパイプ部品５２は図７に示すような配置関係（パイプ部品５２上面の穴５２ａを撮像可能な配置関係）にあるとする。
【００２３】
自動組立システムの動作では、図４に示すように、まず、撮像装置３は、撮像要求手段４１からの要求に応じて、円柱形部品５１を挿入する前のパイプ部品５２を撮像する（ステップＳＴ４１）。これにより、例えば図８（ａ）に示すようなパイプ部品５２の画像（第２部品画像）が撮像される。
【００２４】
次いで、第２部品認識手段４２は、撮像装置３により撮像された第２部品画像に基づいて、パイプ部品５２の穴５２ａの位置を認識する（ステップＳＴ４２，第２部品認識ステップ）。これにより、図８（ｂ）のａに示すように、パイプ部品５２の穴５２ａの位置が認識される。この第２部品認識手段４２により認識されたパイプ部品５２の穴５２ａの位置を示す情報は第２部品位置記録手段４３に記録される。
【００２５】
次いで、部品移動手段２１は、第２部品認識手段４２により認識されたパイプ部品５２の穴５２ａの位置に基づいて、円柱形部品５１の移動位置を算出し、円柱形部品５１の移動を行う（ステップＳＴ４３，部品移動ステップ）。
次いで、組付実施手段２２は、部品移動手段２１により移動された円柱形部品５１のパイプ部品５２への挿入を行う（ステップＳＴ４４，組付実施ステップ）。
【００２６】
次いで、組付判断手段２３は、組付実施手段２２により円柱形部品５１のパイプ部品５２への挿入が成功したかを判断する（ステップＳＴ４５，組付判断ステップ）。
このステップＳＴ４５において、組付判断手段２３が円柱形部品５１のパイプ部品５２への挿入が成功したと判断した場合には、次工程へ移行する（ステップＳＴ４６）。
【００２７】
一方、ステップＳＴ４５において、組付判断手段２３が円柱形部品５１のパイプ部品５２への挿入が失敗したと判断した場合には、撮像装置３は、撮像要求手段４１からの要求に応じて、円柱形部品５１がパイプ部品５２に突き当てられた状態のまま再度撮像を行う（ステップＳＴ４７）。これにより、例えば図９（ａ）に示すような突き当て画像が撮像される。
【００２８】
次いで、第１部品認識手段４５は、撮像装置３により撮像された突き当て画像に基づいて、円柱形部品５１の位置を認識する（ステップＳＴ４８，第１部品認識ステップ）。これにより、図９（ｂ）のｂに示すように、円柱形部品５１の位置が認識される。
【００２９】
次いで、補正量算出手段４６は、第２部品位置記録手段４３に記録されているパイプ部品５２の穴５２ａの位置と、第１部品認識手段４５により認識された円柱形部品５１の位置とに基づいて、円柱形部品５１とパイプ部品５２との相対位置関係を算出し、円柱形部品５１に対する位置補正量を算出する（ステップＳＴ４９，補正量算出ステップ）。
【００３０】
ここで、補正量算出手段４６は、図１０のｃ，ｄに示すように、パイプ部品５２の穴５２ａの位置と円柱形部品５１の位置が画像上の左右方向と奥行き方向に何ピクセルずれているのかを認識する。
なお、ピクセルの距離と現実の距離との変換では、角度による変化があるため、正確に求めるためには画像中の位置に応じた補正が必要となる。この補正例としては、斜めから撮影した画像を真上から見た画像のように変形をすることで画像そのものを補正する方法が挙げられる。これは射影変換と呼ばれ，変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ’，ｙ’）とすると以下の式で求めることができる。
2012143844.tif 000003
なおＡ〜Ｈの定数は平面中の４つの座標から求めることができる。図１０の例では、パイプ部品５２の上面に４角形の図形を置くことで必要な座標を取得し、計算するといった方法がある。他にもカメラ３２の角度・焦点距離・ＷＤ（Ｗｏｒｋｉｎｇ  Ｄｉｓｔａｎｃｅ）などのパラメータが既知であれば補正計算することも可能である。またテレセントリックレンズを使用した場合では楕円となってしまったパイプ部品５２の穴５２ａの長軸と短軸の関係から補正を行うことも可能である。
【００３１】
このようにしてピクセルの距離と現実の距離との変換を行った後、予め設定してある基準となる位置関係にするために必要な位置補正量を算出し、ロボット制御装置２に伝達する。
なお図１０では、一例として円柱形部品５１がパイプ部品５２に対して左側にずれた場合を示しているが、上下左右斜め方向いずれの場合であっても、円柱形部品５１の外径と穴５２ａとの左右および奥行き方向の隙間を計測することで、位置補正量を求めることが可能である。
【００３２】
次いで、部品位置補正手段２４は、補正量算出手段４６により算出された位置補正量に基づいて、円柱形部品５１に対して、エンコーダの分解能精度を用いた順送り方向の移動を行う（ステップＳＴ５０，部品位置補正ステップ）。ここで、図１１に示すように、部品位置補正手段２４は、左右方向と奥行き方向の２回に分けて円柱形部品５１の移動を実施する。このように、ロボット１のエンコーダの分解能精度を用いた順方向送りの移動を行うことで、円柱形部品５１を適切な位置に移動させることができる。
【００３３】
その後、シーケンスはステップＳＴ４４へ移行し、組付実施手段２２は、部品位置補正手段２４により移動された円柱形部品５１のパイプ部品５２への挿入を再度行う（組付再実施ステップ）。そして、挿入が成功したならば次工程に移動し、失敗したならばステップＳＴ４７〜５０の処理を再度繰り返す。
【００３４】
以上のように、この実施の形態１によれば、部品組付けが失敗した場合に、部品同士が突き当てられた状態の画像を撮像して、部品の相対位置関係を算出して位置補正量を算出し、ロボット１のエンコーダの分解能精度を用いた順方向送りの移動により位置補正を行うように構成したので、組立要求精度がロボット１の繰り返し位置精度より小さい場合であっても、適切な組立位置に部品を移動させて組付けることができ、自動組立を行うことができる。
【００３５】
なお、実施の形態１では、円柱形部品５１をパイプ部品５２に組付ける場合について説明したが、これに限るものではなく、例えば挿入する部品が四角や長方形であったとしても同様に適用可能である。
また、実施の形態１では、第１部品５１と第２部品５２の穴５２ａとの相対位置関係から第１部品５１に対する位置補正量を算出するように構成したが、これに限るものでなく、第１，２部品５１，５２に位置が既知のマークを付与し、それらのマークの相対位置関係から第１部品５１に対する位置補正量を算出するようにしてもよい。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００３６】
１  ロボット
１ａ  ハンド
１ｂ  アーム
２  ロボット制御装置
３  撮像装置
４  画像処理装置
５  固定治具
２１  部品移動手段
２２  組付実施手段
２３  組付判断手段
２４  部品位置補正手段
３１  照明
３２  カメラ
４１  撮像要求手段
４２  第２部品認識手段
４３  第２部品位置記録手段
４４  第２部品画像記録手段
４５  第１部品認識手段
４６  補正量算出手段
５１  第１部品（円柱形部品）
５２  第２部品（パイプ部品）
５２ａ  穴
【図１】
2012143844.tif 000004
【図２】
2012143844.tif 000005
【図３】
2012143844.tif 000006
【図４】
2012143844.tif 000007
【図５】
2012143844.tif 000008
【図６】
2012143844.tif 000009
【図７】
2012143844.tif 000010
【図８】
2012143844.tif 000011
【図９】
2012143844.tif 000012
【図１０】
2012143844.tif 000013
【図１１】
2012143844.tif 000014