(57)【要約】【課題】組立装置において、種々の形状を有する組立部品の組立作業の作業効率を向上することができるようにする。【解決手段】作業空間Ｓが設けられた装置本体１０１と、組立部品１０、基準側組立部品１１を含む物体の３次元位置情報を取得するための画像を撮影するステレオカメラ５と、多関節挟持ハンド３ｈが設けられたロボットマニピュレータ３Ａと、ロボットマニピュレータ３Ａの先端部に固定され前方の画像を撮影するカメラ１２Ａと、ステレオカメラ５で撮影された画像から作業空間Ｓ内における物体の３次元位置情報を取得する第１の画像計測部と、カメラ１２Ａで撮影された画像からロボットマニピュレータ３Ａの先端部の前方の被写体の画像計測を行う第２の画像計測部と、これら３次元位置情報、計測情報を用いてロボットマニピュレータ３Ａの動作を制御するロボットマニピュレータ制御部とを備える組立装置１００を用いる。【選択図】図１
2009269110.tif 000002
【特許請求の範囲】
【請求項１】
複数の組立部品が配置された作業空間内で、前記組立部品のうち１つを基準側組立部品とし、該基準側組立部品に対して他の組立部品を移動して組み付けることで組立体を形成する組立装置であって、
前記作業空間が設けられた装置本体と、
該装置本体に設けられ、少なくとも前記複数の組立部品を含む前記作業空間内に配置された物体の３次元位置情報を取得するための画像を撮影する第１の撮影カメラと、
前記装置本体に基端部が固定され、該基端部に対して位置移動可能に設けられた先端部に、前記他の組立部品を把持する把持機構が設けられたロボットマニピュレータと、
該ロボットマニピュレータの前記先端部に固定され、該先端部の前方の画像を撮影する第２の撮影カメラと、
前記第１の撮影カメラで撮影された画像から前記作業空間内における前記物体の３次元位置情報を取得する第１の画像計測部と、
前記第２の撮影カメラで撮影された画像から前記ロボットマニピュレータの前記先端部の前方の被写体の画像計測を行う第２の画像計測部と、
前記第１の画像計測部で取得された前記物体の３次元位置情報と、前記第２の画像計測部で画像計測された前記被写体の計測情報とを用いて、前記ロボットマニピュレータの動作を制御するロボットマニピュレータ制御部とを備えることを特徴とする組立装置。
【請求項２】
前記第１の撮影カメラは、視差画像を取得するステレオカメラからなることを特徴とする請求項１に記載の組立装置。
【請求項３】
前記第１の撮影カメラは、
前記作業空間における前記組立部品の配置領域全体を上方から俯瞰撮影する位置に設けられた広域撮影カメラと、
前記作業空間における前記組立部品の近傍を撮影する部分撮影カメラとからなることを特徴とする請求項１または２に記載の組立装置。
【請求項４】
前記第２の撮影カメラは、
前記ロボットマニピュレータの前記把持機構の把持中心軸に合致した撮影光軸を備えることを特徴とする請求項１〜３のいずれかに記載の組立装置。
【請求項５】
前記ロボットマニピュレータが複数設けられ、
前記ロボットマニピュレータの１つが前記組立部品を把持した際に、前記ロボットマニピュレータの他に設けられた前記第２の撮影カメラによって、前記ロボットマニピュレータの１つに把持された前記組立部品を撮影できるようにしたことを特徴とする請求項１〜４のいずれかに記載の組立装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットマニピュレータを用いて複数の組立部品から組立体を形成する組立装置に関する。
【背景技術】
【０００２】
従来、画像認識によって複数の組立部品の形状や位置の情報を取得し、これらの情報に基づいてロボットマニピュレータを駆動して組立部品を把持、移動することで、これら複数の組立部品同士を組み立てて組立体を形成する産業用の組立装置が種々知られている。
例えば、特許文献１には、このような組立装置として、水平多関節型ロボットのアーム先端部にチャックハンドを設け、このチャックハンドの把持中心に光軸が一致されたテレビカメラを備え、チャックハンドによって把持される組立部材（組立部品）の中心に設けられた貫通穴を通して、組立部材を把持した状態でロボットの外界の状況を示す画像情報を取得できるようにした組立用ロボットが記載されている。
【特許文献１】特開平６−２１８６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の組立装置には、以下のような問題があった。
特許文献１に記載の技術では、把持中心に貫通穴が設けられている組立部品の場合には、組立作業中でもテレビカメラによって貫通穴を通して画像情報を取得し、組立に必要な外界の情報を取得することができるものの、把持中心に貫通穴を設けることができない組立部品では組立を行うことはできないという問題がある。
また、ロボットに設けられたテレビカメラの画像情報だけでは、組立部材の配置位置や把持位置の情報を取得することができないため、予めこれらの配置位置や把持位置の情報をロボットに教示しておく必要があり、このような教示等の初期設定に手間がかかるという問題がある。
また、組立部品の種類や配置などが変わると、それに応じて教示を行う必要があるため、作業効率がさらに悪くなるという問題がある。
【０００４】
本発明は、上記のような問題に鑑みてなされたものであり、種々の形状を有する組立部品の組立作業の作業効率を向上することができる組立装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載の発明では、複数の組立部品が配置された作業空間内で、前記組立部品のうち１つを基準側組立部品とし、該基準側組立部品に対して他の組立部品を移動して組み付けることで組立体を形成する組立装置であって、前記作業空間が設けられた装置本体と、該装置本体に設けられ、少なくとも前記複数の組立部品を含む前記作業空間内に配置された物体の３次元位置情報を取得するための画像を撮影する第１の撮影カメラと、前記装置本体に基端部が固定され、該基端部に対して位置移動可能に設けられた先端部に、前記他の組立部品を把持する把持機構が設けられたロボットマニピュレータと、該ロボットマニピュレータの前記先端部に固定され、該先端部の前方の画像を撮影する第２の撮影カメラと、前記第１の撮影カメラで撮影された画像から前記作業空間内における前記物体の３次元位置情報を取得する第１の画像計測部と、前記第２の撮影カメラで撮影された画像から前記ロボットマニピュレータの前記先端部の前方の被写体の画像計測を行う第２の画像計測部と、前記第１の画像計測部で取得された前記物体の３次元位置情報と、前記第２の画像計測部で画像計測された前記被写体の計測情報とを用いて、前記ロボットマニピュレータの動作を制御するロボットマニピュレータ制御部とを備える構成とする。
この発明によれば、第１の画像計測部を備えることにより、第１の撮影カメラで撮影された画像から、少なくとも前記複数の組立部品を含む前記作業空間内に配置された物体の３次元位置情報を取得することができるため、ロボットマニピュレータ制御部では、この３次元位置情報から、少なくとも作業空間に配置された複数の組立部品の配置位置や把持位置などの情報や組立位置への移動量の情報などを取得することができる。
これにより、ロボットマニピュレータ制御部は、ロボットマニピュレータによって把持すべき組立部品と、この組立部品が組み立てられる基準側組立部品とを識別し、組立部品を把持し、基準側組立部品に組み立てるためのロボットマニピュレータの動作制御を行うことができる。
一方、第２の画像計測部を備えることにより、ロボットマニピュレータの先端部に設けられた第２の撮影カメラが撮影した先端部の前方の画像から、先端部の前方の被写体の画像計測を行うことができる。このため、ロボットマニピュレータ制御部は、ロボットマニピュレータの先端部が被写体として組立部品あるいは基準側組立部品を前方に捉える位置では、第２の画像計測部の計測情報によって、被写体とロボットマニピュレータの先端部との位置関係を把握して、ロボットマニピュレータの動作制御を行うことができる。このため、ロボットマニピュレータの先端部の前方の被写体に対するロボットマニピュレータの先端部の位置関係を、第１の撮影カメラよりも近い位置でより正確に把握して組立を行うことができる。
なお、本明細書では、「物体の３次元位置情報」は、３次元形状を有する物体の３次元空間内での配置位置、配置姿勢を、物体の形状とともに特定できる情報を意味するものとする。このような物体の３次元位置情報は、例えば、予め第１の画像計測部に記憶された種々の物体の形状情報と、第１の撮影カメラで撮影された画像から抽出された特徴点や特徴形状とのマッチングをとることによって求めることができる。
【０００６】
請求項２に記載の発明では、請求項１に記載の組立装置において、前記第１の撮影カメラは、視差画像を取得するステレオカメラからなる構成とする。
この発明によれば、第１の撮影カメラが、視差画像を取得するステレオカメラからなるので、第１の画像計測部では、このステレオカメラによって取得された視差画像に基づいて、撮影範囲の３次元情報を取得することができる。このため、周知の３次元画像認識技術を用いて、物体の３次元位置情報を取得することができる。
【０００７】
請求項３に記載の発明では、請求項１または２に記載の組立装置において、前記第１の撮影カメラは、前記作業空間における前記組立部品の配置領域全体を上方から俯瞰撮影する位置に設けられた広域撮影カメラと、前記作業空間における前記組立部品の近傍を撮影する部分撮影カメラとからなる構成とする。
この発明によれば、ロボットマニピュレータ制御部は、広域撮影カメラで撮影された画像による情報に基づいて、組立部品を把持、移動するための情報を取得し、より狭い範囲を撮影する部分撮影カメラで撮影された画像に基づいて、組立部品および組立部品の近傍の情報をより詳細に取得することができるので、広域撮影カメラによって取得された情報を必要に応じて補正して、円滑かつより正確な組立動作を行うことができる。
【０００８】
請求項４に記載の発明では、請求項１〜３のいずれかに記載の組立装置において、前記第２の撮影カメラは、前記ロボットマニピュレータの前記把持機構の把持中心軸に合致した撮影光軸を備える構成とする。
この発明によれば、第２の撮影カメラの撮影光軸がロボットマニピュレータの把持機構の把持中心軸に合致しているため、他の組立部品を把持する際に、第２の撮影カメラで撮影された画像に基づいて、他の組立部品に対する把持機構の位置合わせを容易に行うことができる。
【０００９】
請求項５に記載の発明では、請求項１〜４のいずれかに記載の組立装置において、前記ロボットマニピュレータが複数設けられ、前記ロボットマニピュレータの１つが前記組立部品を把持した際に、前記ロボットマニピュレータの他に設けられた前記第２の撮影カメラによって、前記ロボットマニピュレータの１つに把持された前記組立部品を撮影できるようにした構成とする。
この発明によれば、ロボットマニピュレータの他に設けられた第２の撮影カメラによって、ロボットマニピュレータの１つに把持された組立部品を撮影することができるので、ロボットマニピュレータの１つに把持された組立部品の位置や形状の情報量を増やすことができる。例えば、把持された組立部品によってロボットマニピュレータの１つの第２の撮影カメラの視野が塞がれた場合でも、ロボットマニピュレータの他に設けられた第２の撮影カメラによって、死角となる領域の画像を取得することが可能となる。
【発明の効果】
【００１０】
本発明の組立装置によれば、第１および第２の撮影カメラによって、作業空間内に配置された物体の３次元位置情報を取得する画像や、ロボットマニピュレータの先端部の前方の画像を撮影し、これらによる位置情報に基づいてロボットマニピュレータを動作させることができるため、種々の形状を有する組立部品ごとにロボットマニピュレータに組立作業を教示しなくてもよいので、組立作業の作業効率を向上することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下では、本発明の実施形態について添付図面を参照して説明する。すべての図面において、実施形態が異なる場合であっても、同一または相当する部材には同一の符号を付し、共通する説明は省略する。
【００１２】
［第１の実施形態］
本発明の第１の実施形態に係る組立装置について説明する。
図１は、本発明の第１の実施形態に係る組立装置の概略構成を示す模式的な斜視図である。図２は、本発明の第１の実施形態に係る組立装置のロボットマニピュレータの構成を示す模式的な斜視図である。図３（ａ）は、本発明の第１の実施形態に係る組立装置の把持機構の構成を示す模式的な正面図である。図３（ｂ）は、図３（ａ）におけるＡ視の下面図である。図４は、本発明の第１の実施形態に係る組立装置の制御ユニットの機能構成を示す機能ブロック図である。
【００１３】
本実施形態の組立装置１００は、複数の組立部品が配置された作業空間内で、組立部品のうち１つを基準側組立部品とし、この基準側組立部品に対して他の組立部品を移動して組み付けることで組立体を形成するものである。これら組立部品の種類や数は特に限定されないが、以下では、一例として、軸状の基準側組立部品１１に、円柱ブロック状の組立部品１０を外挿して組立体を形成する場合の例で説明する。
組立装置１００の概略構成は、図１に示すように、基台部１、マニピュレータ固定部２、およびカメラ固定部４を有する装置本体１０１、ロボットマニピュレータ３Ａ、３Ｂ、部品供給台６、組立台７、ステレオカメラ５（第１の撮影カメラ）、表示部８、および制御ユニット９からなる。
【００１４】
基台部１は、装置の基台をなすブロック状の部材であり、本実施形態では直方体状ブロックからなる。基台部１の上面には、組立部品や組立作業に用いる治具類（不図示）を配置するための主要部が水平面からなるベース面１ａが形成されている。ベース面１ａは平坦な定盤などを採用することができる。ただし、必要に応じて組立部品や治具類をクランプしたり配置したりするための孔部や、凸状あるいは凹状のガイド部などが設けられていてもよい。以下では、ベース面１ａは、１つの水平面からなるものとして説明する。
マニピュレータ固定部２は、ロボットマニピュレータ３Ａ、３Ｂを固定するために、基台部１の平面視の１つの辺縁部に立設された壁体であり、ベース面１ａから鉛直方向に延ばされた固定面２ａを有している。この固定面２ａの高さ方向の中間部に、ベース面１ａの上方に延在するロボットマニピュレータ３Ａ、３Ｂがそれぞれの基端側で固定されている。
カメラ固定部４は、ステレオカメラ５を固定するために、マニピュレータ固定部２の上端から、基台部１側に傾けて取り付けられた板状部材である。カメラ固定部４には、特に図示しないが、後述するステレオカメラ５のレンズユニット５ａ、５ｂを挿通させるための孔部や、ステレオカメラ５を固定するためのネジ挿通孔などが適宜設けられている。
【００１５】
ベース面１ａの上方の空間は、本実施形態では、少なくともマニピュレータ固定部２の高さの範囲が、組立作業を行う作業空間Ｓとして用いられる。この作業空間Ｓ内およびベース面１ａ上の位置情報は、基台部１の適宜位置、例えば、ベース面１ａと固定面２ａとの交線として形成された線分ＰＱの一端である点Ｐを原点としたＸＹＺ直角座標系（以下、単にＸＹＺ座標系と称する）の座標（Ｘ，Ｙ，Ｚ）で記述されるものとする。また特に断らない限り、３次元の座標値は、ＸＹＺ座標系の座標値を指すものとする。
このＸＹＺ座標系のＸ軸は、線分ＰＱに沿う方向に一致され、原点Ｐから点Ｑに向かう方向を正方向とする軸である。Ｙ軸は、ベース面１ａ内でＸ軸と直交する軸であり、固定面２ａから離れる方向を正方向とする。Ｚ軸は、Ｘ軸、Ｙ軸にそれぞれ直交する鉛直軸であり、鉛直上方を正方向とする。このため、ベース面１ａはＸＹ平面に一致し、固定面２ａはＺＸ平面に一致している。
【００１６】
ロボットマニピュレータ３Ａ、３Ｂは、それぞれ、組立部品１０を把持して、基準側組立部品１１側に移動して、基準側組立部品１１に組み付けたり、必要に応じて治具類を把持して組立作業の一部を行ったりするための２指の把持機構を有し、この把持機構の位置、姿勢をそれぞれ独立に制御することができる２台の多関節ロボットである。
ロボットマニピュレータ３Ａ、３Ｂは、固定面２ａの高さ方向（Ｚ軸方向）の中間部において、Ｙ軸正方向側に延在され、Ｘ軸方向に互いに離間して並列するように固定されている。Ｘ軸方向の固定位置は、ロボットマニピュレータ３Ａが原点Ｐに近い側で、ロボットマニピュレータ３Ｂが原点Ｐから遠い側である。
【００１７】
ロボットマニピュレータ３Ａの概略構成は、図２に示すように、基端側から先端側に向かって、固定面２ａに固定された基端部３ａ、関節３ｂ、アーム３ｃ、関節３ｄ、アーム３ｅ、回転駆動部３ｆ、回転部３ｇ、および２つの多関節把持ハンド３ｈ（把持機構）が、順次、延在方向（Ｙ軸正方向側）に連結され、回転部３ｇの先端側中心にカメラ１２Ａ（第２の撮影カメラ）が設けられてなる。
【００１８】
基端部３ａは、関節３ｂをＹ軸回りに回転駆動可能に支持する回転駆動部である。
関節３ｂは、アーム３ｃの基端側に連結され、アーム３ｃをＹ軸に直交する軸回りに回動させる回動関節である。
アーム３ｃの先端側には関節３ｄが固定されている。
関節３ｄは、アーム３ｅの基端側に連結され、アーム３ｅをアーム３ｃの中心軸および関節３ｂの回動中心軸に直交する軸回りに回動させる回動関節である。
アーム３ｅの先端側には回転駆動部３ｆが固定されている。
回転駆動部３ｆは、先端側に連結された略円板状の回転部３ｇをアーム３ｅの中心軸回りに回転させるものである。
【００１９】
回転部３ｇの先端面３Ｇには、回転駆動部３ｆによる回転の中心軸に一致された把持中心軸ＣＡに関して互いに対称な進退動作が可能な一対の多関節把持ハンド３ｈが、把持中心軸ＣＡを挟んで対向する位置に離間して設けられている。
各多関節把持ハンド３ｈは、図３（ａ）に示すように、互いの対向方向に直交する軸回りに回転可能な３つの関節Ｒを含むリンク機構からなり、先端の各把持部３Ｈの対向間隔である把持幅Ｗ、および回転部３ｇの先端面３Ｇからの距離である把持位置距離Ｕを変えることができるようになっている。このため、各把持部３Ｈによる把持の中心位置を示す把持中心点Ｖは、把持中心軸ＣＡ上で先端面３Ｇに対して移動できるようになっている。
【００２０】
なお、回転部３ｇの形状は、図３（ａ）、（ｂ）に示すような円板状の形状には限定されないが、画像から、回転部３ｇを他の部材と識別し、回転部３ｇの位置、形状認識を行うために必要な３次元形状の情報が、予め、制御ユニット９に記憶されている。
【００２１】
基端部３ａ、関節３ｂ、３ｄ、回転駆動部３ｆ、各多関節把持ハンド３ｈは、ロボットマニピュレータ３Ａ内の不図示の配線およびケーブル３０Ａ（図１参照）を通して、制御ユニット９に電気的に接続され、電力の供給を受けたり、制御ユニット９と通信したりすることができるようになっている。
このような構成により、多関節把持ハンド３ｈは、作業空間Ｓ内における一定の移動範囲内で姿勢を変えつつ移動できるようになっている。
なお、ロボットマニピュレータ３Ａの構成は、一例であって、多関節把持ハンド３ｈを組立作業に必要な自由度で移動できるものであれば、アームや関節の数や配置は、上記の構成以外にも適宜の構成を採用することができる。
【００２２】
カメラ１２Ａは、把持中心軸ＣＡと同軸の撮影光軸Ｏを備えた撮影レンズと、例えば、ＣＣＤなどからなる撮像素子とを備え、撮影レンズを先端面３Ｇ側に露出した状態で回転部３ｇの中央に埋め込まれている。これにより、回転部３ｇの先端面３Ｇから前方側の外界を撮影することができるようになっている。
カメラ１２Ａは、ロボットマニピュレータ３Ａ内の不図示の配線およびケーブル３０Ａ（図１参照）を通して、制御ユニット９に電気的に接続され、電力の供給を受けたり、制御ユニット９と通信したりすることができるようになっている。このため、ロボットマニピュレータ３Ａは、制御ユニット９からの制御信号に応じて、上記の各動作が制御され、カメラ１２Ａで撮影された映像信号が制御ユニット９に送出されるようになっている。
【００２３】
ロボットマニピュレータ３Ｂの概略構成は、図２、図３（ａ）、（ｂ）に示すように、基端側から先端側に向かって、固定面２ａに固定された基端部３ａ、関節３ｂ、アーム３ｃ、関節３ｄ、アーム３ｅ、回転駆動部３ｆ、回転部３ｇ、および２つの多関節把持ハンド３ｈが、順次、延在方向（Ｙ軸正方向側）に連結され、回転部３ｇの先端側中心にカメラ１２Ｂ（第２の撮影カメラ）が設けられてなる。カメラ１２Ｂは、カメラ１２Ａと同様の構成を有する。カメラ１２Ｂの撮影光軸Ｏは、ロボットマニピュレータ３Ｂの把持中心軸ＣＢと同軸とされている。
したがって、ロボットマニピュレータ３Ｂは、ロボットマニピュレータ３Ａと固定面２ａに対する固定位置を除いて共通である。
また、基端部３ａ、関節３ｂ、３ｄ、回転駆動部３ｆ、各多関節把持ハンド３ｈ、カメラ１２Ｂは、ロボットマニピュレータ３Ｂ内の不図示の配線およびケーブル３０Ｂ（図１参照）を通して、制御ユニット９に電気的に接続されている。
【００２４】
部品供給台６は、組立部品１０を移動可能に配置しておくために、ベース面１ａ上に配置されたブロック状部材である。本実施形態では、平面視矩形状の平板状ブロックを採用している。
組立台７は、基準側組立部品１１を組立作業の間、一定の位置を保って配置するためのブロック状部材である。本実施形態では、平面視矩形状の平板状ブロックを採用している。組立台７には、組立作業の間、基準側組立部品１１を固定しておく必要がある場合には、クランプしたり吸着したりする固定機構を設けておいてもよい。
【００２５】
部品供給台６、組立台７は、ロボットマニピュレータ３Ａ、３Ｂの移動範囲内であれば、ベース面１ａ上のどの位置に配置されていてもよいが、本実施形態では、よりロボットマニピュレータ３Ａに近い側に部品供給台６を配置し、よりロボットマニピュレータ３Ｂに近い側に組立台７を配置している。
また部品供給台６、組立台７は、本実施形態では、ベース面１ａ上に固定されているものとするが、組立作業中に変化するおそれがなければベース面１ａに載置されているだけでもよい。
また、部品供給台６、組立台７の形状は、互いに見分けられる形状とすることが好ましく、本実施形態では、平面視の外形寸法を変えることで区別されているものとする。部品供給台６、組立台７の３次元形状の情報は、予め、制御ユニット９に記憶されている。また、部品供給台６、組立台７の位置が固定されている場合には、固定位置の情報が、ＸＹＺ座標系の座標情報として、予め、制御ユニット９に記憶されている。
【００２６】
ステレオカメラ５は、図１に示すように、視差画像を撮影するため、撮影光軸が離間して配置されたレンズユニット５ａ、５ｂと、レンズユニット５ａ、５ｂを通してそれぞれ結像された光像をそれぞれ撮像する撮像素子が設けられたカメラ本体５ｃとを備える。
ステレオカメラ５は、カメラ固定部４上で、少なくとも組立部品１０、および基準側組立部品１１が配置されたベース面１ａ上の領域を斜め上方から俯瞰する映像が撮影できる位置に固定されている。すなわち、ステレオカメラ５は、作業空間Ｓにおける組立部品の配置領域全体を上方から俯瞰撮影する位置に設けられた広域撮影カメラを構成している。
【００２７】
また、ステレオカメラ５は、ケーブル３０Ｃを介して、制御ユニット９に電気的に接続されており、ステレオカメラ５によって撮影された視差画像の映像信号は、制御ユニット９に送出されるようになっている。
【００２８】
表示部８は、ケーブル３０Ｄによって、制御ユニット９に電気的に接続され、制御ユニット９から送出される映像信号を表示面８ａ上に表示するモニタからなる。
【００２９】
制御ユニット９は、ステレオカメラ５、ロボットマニピュレータ３Ａ、３Ｂ、カメラ１２Ａ、１２Ｂ、および表示部８に電気的に接続され、それぞれと通信を行うことによって、それぞれから、映像信号や制御信号の送受信を行い、それぞれの動作を制御するものである。
制御ユニット９の機能構成は、図４に示すように、データ記憶部９５、視差画像取得部９０、第１の画像計測部９１、画像取得部９３、第２の画像計測部９４、ロボットマニピュレータ制御部９２、および表示制御部９６からなる。
【００３０】
データ記憶部９５は、第１の画像計測部９１、第２の画像計測部９４の画像計測演算に必要な計測用データと、ロボットマニピュレータ制御部９２によって組立部品１０を基準側組立部品１１に組み付けるための組立手順に関する組立用データとを予め記憶しておくものである。
【００３１】
計測用データとしては、例えば、組立部品１０、基準側組立部品１１の３次元形状データ、ロボットマニピュレータ３Ａ、３Ｂの先端部の３次元形状データ、ロボットマニピュレータ３Ａ、３Ｂの回転部３ｇにおけるカメラ１２Ａ、１２Ｂの固定位置情報のデータ、作業空間Ｓに配置される部品供給台６、組立台７の３次元形状データ、ベース面１ａの３次元形状データ、ベース面１ａ上に固定された部材のＸＹＺ座標系における配置座標、およびステレオカメラ５の視差データ、ステレオカメラ５およびカメラ１２Ａ、１２Ｂで撮影された画像上の寸法を実寸法に換算するための寸法換算データ（撮影倍率や撮像素子の画素ピッチ等）などを挙げることができる。
各３次元形状データのデータ形式は、視差画像を用いた周知の３次元画像認識手法に用いる適宜のデータ形式を採用することができる。
ロボットマニピュレータ３Ａ、３Ｂの先端部の３次元形状データは、本実施形態では、回転部３ｇおよび把持部３Ｈの３次元形状データが記憶されている。
【００３２】
また、組立用データとしては、例えば、組立部品１０を組立可能に把持するための組立部品１０上における把持位置のデータ、組立部品１０を基準側組立部品１１に組み付けるための相対位置関係を表すデータ、組立の工程手順のデータなどのデータを挙げることができる。
【００３３】
視差画像取得部９０は、ステレオカメラ５によって、レンズユニット５ａ、５ｂを通して撮影され、各撮像素子によって光電変換された映像信号を取得し、それぞれ２次元の画像データに変換し、一対の視差画像データとして、第１の画像計測部９１に送出するものである。
【００３４】
第１の画像計測部９１は、視差画像取得部９０から送出された一対の視差画像データを予めデータ記憶部９５に記憶された計測用データに基づいて解析を行い、撮影範囲の各視差画像のマッチングを取ることによって被写体の３次元位置情報を取得し、個々の物体候補を抽出し、注出された物体候補から計測用データに記憶された既知の物体を認識するといった画像計測処理を行うものである。
その際、認識された物体のうち、ベース面１ａに形成された形状、あるいはベース面１ａに固定された物体の３次元位置情報から、認識された各物体のＸＹＺ座標系における各物体の位置座標が決定される。
また、第１の画像計測部９１は、視差画像取得部９０から送出された一対の視差画像データのいずれか一方または両方を、表示制御部９６に送出できるようになっている。
【００３５】
画像取得部９３は、カメラ１２Ａ、１２Ｂの撮像素子によって、それぞれ光電変換された映像信号を取得し、それぞれ２次元の画像データに変換して、第２の画像計測部９４に送出するものである。
【００３６】
第２の画像計測部９４は、画像取得部９３から送出された画像データを予めデータ記憶部９５に記憶された計測用データに基づいて解析を行い、カメラ１２Ａ、１２Ｂの前方、すなわちロボットマニピュレータ３Ａ、３Ｂの先端部の前方の被写体の画像計測処理を行うものである。
また、第２の画像計測部９４は、画像取得部９３から送出された画像データを表示制御部９６に送出できるようになっている。
【００３７】
ロボットマニピュレータ制御部９２は、第１の画像計測部９１で取得された撮影範囲内の物体の３次元位置情報と、第２の画像計測部９４で画像計測されたロボットマニピュレータ３Ａ、３Ｂの先端部の前方の被写体の計測情報とを用いて、ロボットマニピュレータ３Ａ、３Ｂの動作を制御するものである。
すなわち、基端部３ａ、関節３ｂ、関節３ｄ、回転駆動部３ｆ、多関節把持ハンド３ｈの関節Ｒの回転量や回動量を変化させて、作業空間Ｓ内における把持中心点Ｖを目標位置に移動させたり、把持中心軸ＣＡ、ＣＢの向きを変えたり、多関節把持ハンド３ｈの把持幅Ｗ、把持位置距離Ｕを変更したり、多関節把持ハンド３ｈの姿勢を変更したりする動作の制御を行うものである。
【００３８】
表示制御部９６は、第１の画像計測部９１から送出された視差画像データおよび第２の画像計測部９４から送出された画像データを、例えば、ＮＴＳＣ信号などの映像信号に変換して表示部８に送出するものである。
【００３９】
このような制御ユニット９の装置構成としては、専用のハードウェアを用いてもよいが、本実施形態では、ＣＰＵ、メモリ、外部記憶装置、入出力インターフェースなどを備えたコンピュータによって、各機能構成に応じて、例えば、画像計測用、マニピュレータ制御用等の各プログラムを実行させることで実現している。
【００４０】
次に、組立装置１００を用いた組立方法について、組立装置１００の動作とともに説明する。まず、以下の説明に用いる複数の組立部品の一例である基準側組立部品１１、組立部品１０の形状について説明する。
図５（ａ）、（ｂ）は、基準側組立部品の一例を示す正面図および右側面図である。図６（ａ）は、組立部品の一例を示す正面図である。図６（ｂ）は、図６（ａ）におけるＢ−Ｂ断面図である。図６（ｃ）は、組立部品の一例を示す裏面図である。図７は、基準側組立部品に組立部品を組み付けた組立体の一例を示す断面図である。
【００４１】
基準側組立部品１１は、図５（ａ）、（ｂ）に示すように、中心軸Ｃ１１を中心とする円筒面状の外周面１１ｃを有し、軸方向の両端部に中心軸Ｃ１１に直交する端面１１ａ、１１ｂが形成された円柱軸の端面１１ｂ側に、中心軸Ｃ１１に平行な平面１１ｄが形成され、端面１１ｂ側から軸中間部に向かって、軸直角断面がＤ字状とされたＤ型軸部１１Ａが形成された軸状部材である。
組立部品１０は、図６（ａ）、（ｂ）、（ｃ）に示すように、基準側組立部品１１より大径で、基準側組立部品１１よりも長さの短い略円柱状のブロック部材であり、中心軸Ｃ１０を中心とする円筒面からなる外周面１０ｃを有し、軸方向の両端面が中心軸Ｃ１０に直交する端面１０ａ、１０ｂからなる。端面１０ｂ側には、中心軸Ｃ１０と同軸の円筒状内周面１０ｄと、中心軸Ｃ１０に平行な平面からなる平面内周面１０ｅと、穴底面１０ｆとによって、基準側組立部品１１のＤ型軸部１１Ａと外嵌するＤ型穴部１０Ａが形成されている。また、端面１０ａには、Ｄ型穴部１０Ａの平面内周面１０ｅに直交する径方向において平面内周面１０ｅよりも径方向外側の位置に、半球状の凹部１０ｇが形成されている。
組立体１３は、図７に示すように、基準側組立部品１１のＤ型軸部１１Ａを組立部品１０のＤ型穴部１０Ａに挿入し、基準側組立部品１１の端面１１ｂを、組立部品１０の穴底面１０ｆに接合してなるものである。
【００４２】
組立装置１００を用いた組立方法は、部品位置計測工程、部品把持工程、部品移動工程、および部品組付工程を備え、これらの工程をこの順に行う方法である。
図８（ａ）は、作業空間Ｓにおける組立作業開始前の組立部品および基準側組立部品の配置の一例を示す平面図である。図８（ｂ）は、図８（ａ）におけるＤ視の側面図である。図９（ａ）、（ｂ）は、本発明の第１の実施形態に係る組立方法の部品把持工程の一ステップを説明する正面視および側面視の工程説明図である。図１０は、部品把持工程の一ステップにおいて第２の撮影カメラで撮影された画像の一例を示す模式図である。図１１（ａ）は、図９（ａ）に示す部品把持工程の一ステップに続くステップを示す正面視の工程説明図である。図１１（ｂ）は、図１１（ａ）に示す位置で第２の撮影カメラで撮影された画像の一例を示す模式図である。図１２（ａ）は、本発明の第１の実施形態に係る組立方法の部品移動工程の様子を示す正面視の工程説明図である。図１２（ｂ）は、図１２（ａ）に示す位置で第２の撮影カメラで撮影された画像の一例を示す模式図である。図１３は、本発明の第１の実施形態に係る組立方法の部品組付工程の開始時の様子を示す正面視の工程説明図である。図１４は、本発明の第１の実施形態に係る組立方法の部品組付工程の終了時の様子を示す正面視の工程説明図である。
【００４３】
まず、部品位置計測工程では、ステレオカメラ５によってベース面１ａ上の被写体を撮影し、レンズユニット５ａ、５ｂを通して撮影された映像信号を視差画像取得部９０に送出する。視差画像取得部９０では、これらの映像信号をそれぞれ２次元の画像データに変換し、一対の視差画像データとして、第１の画像計測部９１に送出する。
第１の画像計測部９１では、データ記憶部９５に記憶された計測用データを参照しつつ、これら視差画像データの画像計測処理を行い、３次元画像認識技術を用いて、被写体の中の物体を認識し、物体の３次元位置情報を取得する。本実施形態では、被写体の中から、組立部品１０、基準側組立部品１１、部品供給台６、組立台７を認識し、それぞれの配置位置、配置姿勢を認識する。
これにより、例えば、ＸＹＺ座標系における、各物体の特徴点の位置座標や、面形状や軸形状の姿勢を表す方向ベクトルなどを算出することができる。
【００４４】
例えば、図１、図８（ａ）、（ｂ）に示すように、ベース面１ａ上にＸ軸負方向からＸ軸正方向に向かって、部品供給台６、組立台７が離間して配列され、部品供給台６の上面に端面１０ｂを載置面として組立部品１０が載置され、組立台７の上面に端面１１ａを載置面として基準側組立部品１１が載置されている場合、３次元画像認識技術によって、これら各物体上の各点のＸＹＺ座標系の座標値が認識される。例えば、本例では、組立台７の固定位置座標が計測用データに記憶されているので、組立台７の上面の角の点ｐ１、ｐ２、ｐ３、ｐ４の座標値が決定される。そして、他の物体の特徴点の座標値は、これらの特徴点のいずれかとの間の画像計測によって求めることができる。以下では、点ｐｉ（ｉは自然数）の座標値をｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）で表す。
【００４５】
このようにして、基準側組立部品１１は、端面１１ｂが上面に向けられ、外周面１１ｃの中心軸Ｃ１１がＺ軸方向に一致し、平面１１ｄの法線がＹ軸方向に向けられた姿勢で固定面２ａに対向され、組立台７の上面に載置されていることが認識される。これにより、例えば、端面１１ｂと中心軸Ｃ１１との交点である点ｐ５や、端面１１ｂの外周上の点ｐ６、ｐ７の座標値が取得される。もし、中心軸Ｃ１１や平面１１ｄの法線の向きがずれている場合には、それらの方向ベクトルが算出される。
また、同様にして、組立部品１０は、端面１０ａが上面に向けられ、外周面１０ｃの中心軸Ｃ１０がＺ軸方向に一致し、凹部１０ｇが、中心軸Ｃ１０に対してＹ軸方向において負方向側に位置した姿勢で、部品供給台６の上面に載置されていることが認識される。これにより、外周面１０ｃの中心軸Ｃ１０と端面１０ａとの交点である点ｐ１２、凹部１０ｇの中心軸と端面１０ａとの交点である点ｐ１３の座標値が取得される。また、データ記憶部９５に記憶された組立部品１０の３次元形状のデータと、中心軸Ｃ１０と点ｐ１３との位置関係とを参照して、撮影画像に含まれない平面内周面１０ｅが中心軸Ｃ１０に対してＹ軸負方向側で法線をＹ軸方向に向けた姿勢に配置されていることが認識される。
そして、データ記憶部９５に記憶されている組立用データのうちの把持位置データから、この配置状態における把持位置である点ｐ１４、ｐ１５の座標値が算出される。
これらの座標値や方向ベクトルなどの画像計測結果は、ロボットマニピュレータ制御部９２に送出される。
【００４６】
本工程における画像計測は、視差画像による３次元位置情報の計測になっているため、１回の撮影で、組立部品１０の把持、移動、および組み付け動作に必要な位置情報、姿勢情報が計測される。そのため、作業効率を向上することができる。
【００４７】
また、第１の画像計測部９１は、認識された物体の３次元位置情報や特徴点の位置情報や視差画像データなどを表示制御部９６に送出し、表示部８に表示する。組立装置１００の操作者は、表示部８に表示された画像によって、組立工程を監視することができる。
以上で部品位置計測工程が終了する。
【００４８】
次に、部品把持工程では、まず、第１の画像計測部９１から送出された画像計測結果と、予めデータ記憶部９５に記憶された組立用データとに基づいて、ロボットマニピュレータ制御部９２によりロボットマニピュレータ３Ａを駆動し、図９（ａ）、（ｂ）に示すように、ロボットマニピュレータ３Ａの多関節把持ハンド３ｈを組立部品１０の上方に移動させる。このとき、ロボットマニピュレータ３Ａの把持中心軸ＣＡは、組立部品１０の中心軸Ｃ１０と同軸になる位置に移動される。また、各多関節把持ハンド３ｈの把持部３Ｈを開いた状態として回転部３ｇを適宜回転させ、把持部３ＨをＺ軸座標がＺ１４（＝Ｚ１５）となるまで下降させて把持部３Ｈを閉じていくときに点ｐ１４、ｐ１５の位置で組立部品１０を挟持できる位置に配置する。
そして、カメラ１２Ａによって、前方の被写体を撮影する。撮影された映像信号は、画像取得部９３に送出され、画像取得部９３によって２次元の画像データに変換され、第２の画像計測部９４に送出される。
【００４９】
第２の画像計測部９４では、この２次元画像データに画像処理を施して、画面内における点ｐ１２、ｐ１３、ｐ１４、ｐ１５等の組立部品１０を把持するために必要な点の位置を画像計測する。
例えば、画像データを２値化しエッジ抽出処理などの画像処理を行うことで、図１０に示すように、部品供給台６の上面の外形に対応して矩形Ｌ６、外周面１０ｃの外形に対応して円Ｌ１０ｃ、凹部１０ｇの開口エッジに対応して円Ｌ１０ｇなどの線画像が抽出される。
そして、円Ｌ１０ｃ、Ｌ１０ｇの中心座標をそれぞれ計算することで、点ｐ１２の座標（α１２，β１２）、点ｐ１３の座標（α１３，β１３）がそれぞれ算出される。ここで、これらの座標は、カメラ１２Ａの撮影光軸Ｏに一致する撮像素子の中心点ｑ０（０，０）を原点とする撮像素子に固定されたαβ座標系による座標を表すものとする。以下では、特に断らない限り、２次元の座標値は、αβ座標系による座標値を表すものとする。
正確な把持位置で組立部品１０を把持するためには、点ｐ１２、ｐ１３の座標はそれぞれ（０，０）、（０，ｋ）（ｋは、凹部１０ｇの中心軸からの距離に対応した定数）になっている必要がある。
【００５０】
そこで、ロボットマニピュレータ制御部９２は、点ｐ１２の位置ずれベクトルΔ１２（α１２，β１２）と、点ｐ１３の位置ずれベクトルΔ１３（α１３，β１３−ｋ）を、ＸＹＺ座標上の実移動量に換算し、この位置補正値に基づいて、ロボットマニピュレータ３Ａの位置を、Ｘ軸方向およびＹ軸方向に移動させ、回転部３ｇを回転させて多関節把持ハンド３ｈの把持方向を調整する。
このようにして、ロボットマニピュレータ３Ａは、把持中心軸ＣＡが組立部品１０の中心軸Ｃ１０と同軸となるとともに、把持部３Ｈが、点ｐ１４、ｐ１５を把持できる位置に向けられた状態に位置、姿勢が補正される。
【００５１】
ここで、カメラ１２Ａの視野は、ステレオカメラ５の視野に比べて小さく、組立部品１０に対して近接位置で撮影しているため、撮像素子の同様な画素密度であれば、カメラ１２Ａによる画像計測の方がより高精度になっている。
このように、本実施形態のカメラ１２Ａ（１２Ｂ）は、撮影範囲を移動して、ステレオカメラ５よりも狭い範囲をより高精度に画像計測することが可能な撮影カメラとなっている。このため、組立装置１００では、作業空間Ｓ内の種々の被写体の画像計測を、ステレオカメラ５による画像計測とカメラ１２Ａ（１２Ｂ）による画像計測とを、計測精度や被写体の必要に応じて、それぞれ使い分け、あるいは併用することができる。
【００５２】
次に、ロボットマニピュレータ制御部９２は、図１１（ａ）に示すように、ロボットマニピュレータ３ＡをＺ軸負方向に下降させ、各多関節把持ハンド３ｈを把持中心軸ＣＡに向けて対称に進出させ、各把持部３Ｈにより、点ｐ１４、ｐ１５の位置で組立部品１０を把持させる。
このとき、カメラ１２Ａでは、図１１（ｂ）に示すように、把持された組立部品１０の画像がより拡大された状態で、各把持部３Ｈの画像Ｌ３Ｈとともに撮影される。この画像を第２の画像計測部９４によって上記と同様に画像計測することで、点ｐ１２が、把持中心軸ＣＡに一致し、各把持部３Ｈによって点ｐ１４、ｐ１５の把持位置で把持されたかどうか検証することができる。
以上で、部品把持工程が終了する。
【００５３】
次に、部品移動工程では、ロボットマニピュレータ３Ａに把持された組立部品１０を、基準側組立部品１１に組み付け開始する位置の近傍に移動し、基準側組立部品１１の位置を画像計測してから、組み付け開始する位置に移動する。
ステレオカメラ５による画像計測精度、およびロボットマニピュレータ３Ａの移動精度が組付精度に対して、十分高精度な場合には、部品位置計測工程で画像計測された３次元位置情報に基づいて、ＸＹ平面内で基準側組立部品１１のＤ型軸部１１Ａの位置に組立部品１０のＤ型穴部１０Ａを位置合わせした状態で、把持中心軸ＣＡが、基準側組立部品１１の中心軸Ｃ１１と同軸となる上方の位置、すなわち本実施形態における組み付け開始する位置に移動し、部品組付工程に移行する。
ただし、部品把持工程で、カメラ１２Ａの画像計測に基づいて把持位置を補正する必要が生じた場合には、ステレオカメラ５による画像計測精度、およびロボットマニピュレータ３Ａの移動精度が組付精度に対して十分でない可能性がある。
【００５４】
そこで、本実施形態では、図１２（ａ）に示すように、まず、ロボットマニピュレータ３Ａを、部品位置計測工程によって計測された３次元位置情報に基づいて、基準側組立部品１１がカメラ１２Ａで撮影できる位置に移動させる。この位置は、３次元位置情報の誤差、およびロボットマニピュレータ３Ａの移動誤差を考慮して、確実に基準側組立部品１１を撮影できる位置とする。このような位置は、組立部品１０、基準側組立部品１１の形状によっても異なるため、予め、把持する組立部品１０ごとに決めておいてデータ記憶部９５に記憶しておく。
本実施形態の場合、例えば、図１２（ａ）に示すように、把持中心軸ＣＡと中心軸Ｃ１１とを水平方向にずらして、組立部品１０および把持部３Ｈの画像と重ならない位置に基準側組立部品１１を入れるようにしている。これにより、画像取得部９３によって、図１２（ｂ）に示すような画像が取得され、第２の画像計測部９４に送出される。
第２の画像計測部９４は、部品は前工程と同様の画像処理を行って、基準側組立部品１１の端面１１ｂに対応するＤ型形状Ｌ１１Ｃから、その円弧部の中心である点ｐ５の座標（α５，β５）と、Ｄ型の角部の点ｐ６、ｐ７の座標（α６，β６）、（α７，β７）とをそれぞれ算出する。
そして、第２の画像計測部９４は、これらの点ｐ５、ｐ６、ｐ７と点ｑ０との位置関係から、組立部品１０を組み付け開始する位置に移動するための水平移動量および回転部３ｇの回転量を算出し、ロボットマニピュレータ制御部９２に送出する。
これにより、図１３に示すように、基準側組立部品１１のＤ型軸部１１Ａの位置に組立部品１０のＤ型穴部１０Ａを位置合わせした状態で、把持中心軸ＣＡが、基準側組立部品１１の中心軸Ｃ１１と同軸となる上方の位置（組み付け開始する位置）に移動される。
以上で、部品移動工程が終了する。
【００５５】
次に、部品組付工程では、ロボットマニピュレータ制御部９２によって、多関節把持ハンド３ｈをＺ軸負方向に移動させる。これにより、組立部品１０のＤ型穴部１０Ａが、基準側組立部品１１のＤ型軸部１１Ａに外挿されていく。そして、図１４に示すように、端面１１ｂと穴底面１０ｆとが当接したら、Ｚ軸負方向の移動を停止し、多関節把持ハンド３ｈを開いて組立部品１０の把持を解除する。これにより、組立部品１０が基準側組立部品１１に組み付けられて組立体１３が組み立てられる。
以上で、部品組付工程が終了する。
【００５６】
なお、組立部品１０と基準側組立部品１１とを、例えば接着などによって接合する場合には、少なくとも部品組付工程に先だって、例えば、ロボットマニピュレータ３Ｂなどで接着剤シリンジを保持し端面１１ｂに接着剤を塗布する工程など、必要な工程を付加してもよい。
また、以上では、ロボットマニピュレータ３Ａによって組立部品１０の把持、移動、組付を行う場合の例で説明したが、ロボットマニピュレータ３Ｂでも同様にして組立作業を行うことができる。また、ロボットマニピュレータ３Ａ、３Ｂを同時に用いて、より多くの組立部品を組み付けることも可能である。
【００５７】
このように、組立装置１００によれば、ステレオカメラ５を備え、ステレオカメラ５によって撮影された視差画像に基づき、第１の画像計測部９１によって作業空間Ｓ内の物体を３次元画像認識して３次元位置情報が取得できるため、組立作業ごとに、組立部品１０や基準側組立部品１１の配置位置が一定しない場合や、種々の異なる形状を有する組立部品１０、基準側組立部品１１の組立作業を行う多品種混合組立ラインに用いる場合でも、ロボットマニピュレータ３Ａ、３Ｂに組立部品１０の移動位置や、組立位置をいちいち教示する工程を設けなくてもよいので、組立の作業効率を向上することができる。
また、ステレオカメラ５の画像計測に加えて、ロボットマニピュレータ３Ａ、３Ｂにそれぞれ固定されたカメラ１２Ａ、１２Ｂを備え、第２の画像計測部９４によって、画像計測できるようにしたことで、組立部品１０や基準側組立部品１１の近傍位置で、ロボットマニピュレータ３Ａ、３Ｂの把持中心軸ＣＡ、ＣＢに対する位置関係を精度よく計測することができるため、作業効率が向上するとともに高精度の組立作業が可能となる。
【００５８】
次に、組立装置１００による組立方法の変形例について説明する。
図１５（ａ）は、本発明の第１の実施形態の組立装置を用いた組立方法の変形例について説明する斜視図である。図１５（ｂ）は、組立部品を把持していない側のロボットマニピュレータの第２の撮影カメラで撮影された画像の一例を示す模式図である。
【００５９】
上記第１の実施形態の説明では、組立部品１０の端面１０ｂに凹部１０ｇが設けられている場合の組立方法の例で説明した。本変形例は、組立部品１０に凹部１０ｇが設けられていない場合に組立を行う組立方法の例である。以下では、上記第１の実施形態と異なる点を中心に説明する。
【００６０】
本変形例の部品位置計測工程は、上記第１の実施形態と同様に行う。ただし、ステレオカメラ５では裏面側のＤ型穴部１０Ａは撮影されないため、把持位置である点ｐ１４、ｐ１５の座標値は決定できず、点ｐ１４、ｐ１５が位置する円周の３次元位置情報のみが取得される。
次に、本変形例の部品把持工程では、ロボットマニピュレータ制御部９２によりロボットマニピュレータ３Ａを駆動し、上記第１の実施形態と同様に移動し、多関節把持ハンド３ｈを組立部品１０の上方に移動させる。このとき、ロボットマニピュレータ３Ａの把持中心軸ＣＡは、組立部品１０の中心軸Ｃ１０と同軸になる位置に移動させるが、回転部３ｇの回転量は特に調整しない。
【００６１】
そして、カメラ１２Ａによって、前方の被写体を撮影し、上記第１の実施形態と同様に、２次元の画像データに変換し、この２次元画像データに画像処理を施す。これにより、図１０で、円Ｌ１０ｇを除いた画像が得られる。そして、第２の画像計測部９４によって、円Ｌ１０ｃの中心座標を求めて、点ｐ１２の座標（α１２，β１２）を算出し、円Ｌ１０ｃの直径を求めて、多関節把持ハンド３ｈの把持幅Ｗを算出する。
そして、点ｐ１２の座標（α１２，β１２）に基づく位置ずれベクトルΔ１２（α１２，β１２）を、ＸＹＺ座標上の実移動量に換算し、この位置補正値に基づいて、ロボットマニピュレータ３Ａの位置を、Ｘ軸方向およびＹ軸方向に移動させる。
次に、ロボットマニピュレータ制御部９２は、図１１（ａ）に示すように、ロボットマニピュレータ３ＡをＺ軸負方向に下降させ、各多関節把持ハンド３ｈを把持中心軸ＣＡに向けて対称に進出させ、各把持部３Ｈにより、点ｐ１４、ｐ１５のＺ座標の位置で組立部品１０を把持させる。
以上で、本変形例の部品把持工程が終了する。
このとき、各把持部３Ｈは、点ｐ１４、ｐ１５が存在する円周上を把持しているが、周方向のずれ量は不明である。
【００６２】
次に、部品移動工程では、図１５（ａ）に示すように、ロボットマニピュレータ制御部９２によって、ロボットマニピュレータ３Ａ、３Ｂを駆動し、組立部品１０の端面１０ｂを、ロボットマニピュレータ３Ｂのカメラ１２Ｂで撮影できるように、互いの相対位置関係を調整し、カメラ１２Ｂで、ロボットマニピュレータ３Ａに保持された組立部品１０を端面１０ｂ側から撮影する。このとき、組立部品１０のＤ型穴部１０Ａの位置が画像計測できれば、カメラ１２Ｂの撮影光軸Ｏは適宜の向きでよいが、本実施形態では、多関節把持ハンド３ｈの把持中心軸ＣＡと平行な向きとしている。
このカメラ１２Ｂによって撮影され、画像取得部９３で取得された画像の一例を、図１５（ｂ）に示す。
【００６３】
第２の画像計測部９４は、部品は前工程と同様の画像処理を行って、組立部品１０の端面１０ｂのＤ型穴形状に対応するＤ型形状Ｌ１０ｄからＤ型の円弧の中心である点ｐ１８の座標（α１８，β１８）と、Ｄ型の角部の点ｐ１９、ｐ２０の座標（α１９，β１９）、（α２０，β２０）とをそれぞれ算出する。また、各把持部３Ｈに対応する画像Ｌ３Ｈと円Ｌ１０ｃとの接点から、現状の把持位置である点ｐ２１、ｐ２２の座標座標（α２１，β２１）、（α２２，β２２）を算出する。
これらの各点の座標を、ＸＹＺ座標系の寸法に換算することで、把持中心軸ＣＡに直交する平面において、把持中心軸ＣＡに対する点ｐ１８の位置ずれと、Ｄ型穴部１０Ａの平面内周面１０ｅの位置ずれとが求められ、これらを補正する補正量が算出される。そして、第２の画像計測部９４は、組立部品１０を組み付け開始する位置に移動するための水平移動量および回転部３ｇの回転量を算出し、ロボットマニピュレータ制御部９２に送出する。
この目標移動位置は、上記第１の実施形態と同様に、基準側組立部品１１がカメラ１２Ａの撮影範囲に入る基準側組立部品１１の上方位置とする。
【００６４】
ロボットマニピュレータ制御部９２は、多関節把持ハンド３ｈの把持中心軸ＣＡがＺ軸に沿うように、ロボットマニピュレータ３Ａを回転させた後、組立部品１０を、基準側組立部品１１の上方の目標移動位置に移動し、回転部３ｇの回転位置を補正する。
そして、カメラ１２Ａの前方を基準側組立部品１１を含めて撮影し、基準側組立部品１１のＤ型軸部１１Ａの画面内の位置を算出する。そして、組立部品１０のＤ型穴部１０Ａが基準側組立部品１１のＤ型軸部１１Ａに外嵌できる位置に多関節把持ハンド３ｈを水平移動する。
これにより、図１３に示すように、基準側組立部品１１のＤ型軸部１１Ａの位置に組立部品１０のＤ型穴部１０Ａを位置合わせした状態で、把持中心軸ＣＡが、基準側組立部品１１の中心軸Ｃ１１と同軸となる上方の位置に移動される。
以上で、部品移動工程が終了する。
次に、上記第１の実施形態と同様にして、部品組付工程を行う。
【００６５】
本変形例によれば、組立部品１０をロボットマニピュレータ３Ａで把持した状態で、把持部３Ｈによる把持位置と、基準側組立部品１１に組み付けるＤ型穴部１０Ａの形状とを、画像計測するため、組付に対する位置誤差の許容範囲が狭い場合でも、確実に組み付けを行うことができる。
また、ステレオカメラ５の撮影範囲に組付部分の形状が映らない場合に、組付部分の形状と正確に対応したマークなどの形状をステレオカメラ５で撮影可能な領域に、設けておく必要がないため、部品形状に制約されることなく組立を行うことができる。
【００６６】
［第２の実施形態］
本発明の第２の実施形態に係る組立装置について説明する。
図１６は、本発明の第２の実施形態に係る組立装置の概略構成を示す模式的な斜視図である。図１７は、本発明の第２の実施形態に係る組立装置の制御ユニットの機能構成を示す機能ブロック図である。
【００６７】
本実施形態の組立装置１１０は、複数の組立部品が配置された作業空間内で、組立部品のうち１つを基準側組立部品とし、この基準側組立部品に対して他の組立部品を移動して組み付けることで組立体を形成するものである。
組立装置１１０の概略構成は、図１６に示すように、上記第１の実施形態のステレオカメラ５に代えて広域撮影カメラ５０Ａ、５０Ｂ、部分撮影カメラ４０Ａ、４０Ｂからなる複数構成の第１の撮影カメラを備え、装置本体１０１、制御ユニット９に代えて装置本体１０２、制御ユニット９Ａを備える。
装置本体１０２は、上記第１の実施形態の装置本体１０１において、カメラ固定部４に代えてカメラ固定部４Ａを備えるものである。
以下、上記第１の実施形態と異なる点を中心に説明する。また、図１６に示すＸＹＺ座標系は、上記第１の実施形態とまったく同様に定義されている。
【００６８】
広域撮影カメラ５０Ａ、５０Ｂは、それぞれレンズユニット５０ａと、レンズユニット５０ａを通して結像された光像を撮像する撮像素子が設けられたカメラ本体５０ｂとからなり、それぞれ、マニピュレータ固定部２の先端から、ベース面１ａ上に張り出して設けられたカメラ固定部４Ａにレンズユニット５０ａを下方に向けて、ベース面１ａ上を俯瞰撮影できるように固定されている。
広域撮影カメラ５０Ａ、５０Ｂの配置位置は、それぞれの撮影光軸がＺ軸に平行とされ、ＺＸ平面内に平行な平面内でＸ軸方向に離間して配置されている。Ｘ軸方向において、原点Ｐにより近い位置に広域撮影カメラ５０Ａが、より遠い位置に広域撮影カメラ５０Ｂが設けられている。
広域撮影カメラ５０Ａ、５０Ｂで撮影された映像信号は、それぞれケーブル３１Ａ、３１Ｂを介して電気的に接続された制御ユニット９Ａに送出される。
【００６９】
このような構成により、広域撮影カメラ５０Ａ、５０Ｂによって撮影される一対の画像は、ベース面１ａ上および作業空間Ｓ内の視差画像を構成する。このため、広域撮影カメラ５０Ａ、５０Ｂは、２台で１つのステレオカメラを構成しており、ステレオカメラ５と全く同様の機能を有する。ただし、広域撮影カメラ５０Ａ、５０Ｂの視差は、カメラ固定部４Ａへの取付位置によって、適宜の大きさに設定することができる。
【００７０】
部分撮影カメラ４０Ａは、部品供給台６および部品供給台６上の物体を近傍位置から撮影するためのもので、固定ブラケット４１Ａによって、ベース面１ａ上に固定されている。
部分撮影カメラ４０Ａの配置位置は、部品供給台６のＸ軸方向位置に対してより原点Ｐ側において、撮影光軸がＸ軸に平行となり、Ｘ軸負方向側からＸ軸正方向側の被写体を撮影できるような位置に設定されている。
【００７１】
部分撮影カメラ４０Ｂは、組立台７および組立台７上の物体を近傍位置から撮影するためのもので、固定ブラケット４１Ｂによって、ベース面１ａ上に固定されている。
部分撮影カメラ４０Ｂの配置位置は、組立台７のＸ軸方向位置に対して原点Ｐと反対側において、撮影光軸がＸ軸に平行となり、Ｘ軸正方向側からＸ軸負方向側の被写体を撮影できるような位置に設定されている。
【００７２】
部分撮影カメラ４０Ａ、４０Ｂで撮影された映像信号は、それぞれケーブル３２Ａ、３２Ｂを介して電気的に接続された制御ユニット９Ａに送出される。
【００７３】
制御ユニット９Ａは、図１７に示すように、上記第１の実施形態の制御ユニット９に画像取得部９７を追加し、制御ユニット９の第１の画像計測部９１に代えて、第１の画像計測部９１Ａを備えたものである。
画像取得部９７は、部分撮影カメラ４０Ａ、４０Ｂの撮像素子によって、それぞれ光電変換された映像信号を取得し、それぞれ２次元の画像データに変換して、第１の画像計測部９１Ａに送出するものである。
第１の画像計測部９１Ａは、第１の画像計測部９１と同様に視差画像を用いた画像計測を行うとともに、画像取得部９７から送出された画像データを予めデータ記憶部９５に記憶された計測用データに基づいて解析を行い、それぞれの前方の被写体の画像計測処理を行うものである。
そして、広域撮影カメラ５０Ａ、５０Ｂで撮影された画像から得られた３次元位置情報に、部分撮影カメラ４０Ａ、４０Ｂで撮影された画像から得られた画像計測結果から得られた位置情報を組み合わせて、ロボットマニピュレータ３Ａ、３Ｂを駆動するための情報をロボットマニピュレータ制御部９２に送出できるようになっている。
【００７４】
次に、本実施形態の組立装置１１０の動作について、部分撮影カメラ４０Ａ、４０Ｂに係る動作を中心に説明する。組立装置１１０を用いた組立方法は、上記第１の実施形態と同様に、部品位置計測工程、部品把持工程、部品移動工程、および部品組付工程を備え、これらの工程をこの順に行う方法である。
図１８（ａ）は、本発明の第２の実施形態の組立装置を用いた部品把持工程における部分撮影カメラで撮影された画像の一例を示す模式図である。図１８（ｂ）は、本発明の第２の実施形態の組立装置を用いた部品組付工程における部分撮影カメラで撮影された画像の一例を示す模式図である。
【００７５】
本実施形態の部品位置計測工程は、広域撮影カメラ５０Ａ、５０Ｂ、部分撮影カメラ４０Ａ、４０Ｂを用いて行う。広域撮影カメラ５０Ａ、５０Ｂによる画像計測は、上記第１の実施形態のステレオカメラ５による画像計測と同様である。
一方、部分撮影カメラ４０Ａ、４０Ｂでは、作業空間Ｓにおける組立部品１０、基準側組立部品１１およびその近傍を撮影することができるため、広域撮影カメラ５０Ａ、５０Ｂから得られる組立部品１０、基準側組立部品１１およびその近傍に比べてより詳細な位置情報を得ることができる。そのため、この情報に基づいて、広域撮影カメラ５０Ａ、５０Ｂによって取得された情報を必要に応じて補正して、円滑かつより正確な組立動作を行うことができる。
【００７６】
例えば、本実施形態のように、広域撮影カメラ５０Ａ、５０Ｂの撮影光軸をＺ軸方向に沿って配置すると、水平方向（Ｘ軸方向、Ｙ軸方向）に比べてＺ軸方向の計測分解能が低下する傾向があるが、部分撮影カメラ４０Ａ、４０Ｂで撮影された画像によって、Ｚ軸方向の寸法をより高精度に画像計測して、３次元位置情報を補正することができる。
例えば、本工程において、部品供給台６上の組立部品１０の端面１０ａの高さｈ１（図１８（ａ）参照）を測定しておき、広域撮影カメラ５０Ａ、５０Ｂによる３次元位置情報の高さとは異なる場合、高さｈ１に置き換える補正を行う。同様に、組立台７上の基準側組立部品１１の端面１１ｂの高さｈ３（図１８（ｂ）参照）を測定しておき、広域撮影カメラ５０Ａ、５０Ｂによる３次元位置情報の高さとは異なる場合、高さｈ３に置き換える補正を行う。
【００７７】
次に、部品把持工程では、広域撮影カメラ５０Ａ、５０Ｂによる３次元位置情報、および部分撮影カメラ４０Ａによって画像計測されて補正された情報に基づいて、ロボットマニピュレータ３Ａの多関節把持ハンド３ｈを組立部品１０の上方に移動させる。
このとき、部分撮影カメラ４０Ａでは、図１８（ａ）に示すような画像が撮影され、画像取得部９７を介して、第１の画像計測部９１Ａに送出される。ここで、画像Ｌ３ｈ、矩形Ｌ６は、それぞれ多関節把持ハンド３ｈ、部品供給台６に対応する画像である。
第１の画像計測部９１Ａでは、組立部品１０の端面１０ａに対応する直線Ｌ１０ａと、回転部３ｇに対応する直線Ｌ３ｇとを抽出して、これらの間の距離ｈ２を算出する。そして、部品位置計測工程で計測された組立部品１０の３次元位置情報に基づいて移動した回転部３ｇから組立部品１０の端面１０ａまでの距離を、距離ｈ２に置き換えて、把持動作を行う。その際、Ｘ軸方向およびＹ軸方向の把持位置の調整は、上記第１の実施形態と同様に、カメラ１２Ａで撮影された画像の画像計測に基づいて行う。
【００７８】
次に、部品移動工程では、上記第１の実施形態と同様にして、ロボットマニピュレータ３Ａを駆動して、組立部品１０を基準側組立部品１１の上方に移動する。
このとき、本実施形態では、部分撮影カメラ４０Ｂでは、図１８（ｂ）に示すような画像が撮影され、画像取得部９７を介して、第１の画像計測部９１Ａに送出される。ここで、画像Ｌ３ｈ、直線Ｌ１０ｂ、矩形Ｌ７は、それぞれ多関節把持ハンド３ｈ、端面１０ｂ、組立台７に対応する画像である。
第１の画像計測部９１Ａでは、基準側組立部品１１の端面１１ｂに対応する直線Ｌ１１ｂと、組立部品１０の端面１０ｂに対応する直線Ｌ１０ｂとを抽出して、これらの間の距離ｈ４を算出する。そして、部品位置計測工程で計測された基準側組立部品１１の３次元位置情報に基づいて移動した組立部品１０の端面１０ｂからの基準側組立部品１１の端面１１ｂまでの距離を、距離ｈ４に置き換える。また、Ｘ軸方向およびＹ軸方向の移動位置の調整は、上記第１の実施形態と同様に、カメラ１２Ａで撮影された画像の画像計測に基づいて行う。
【００７９】
次に、部品組付工程では、上記第１の実施形態と同様にして組立部品１０を基準側組立部品１１に組み付ける。
以上で、本実施形態の組立が完了する。
【００８０】
このように、組立装置１１０によれば、広域撮影カメラ５０Ａ、５０Ｂを備え、広域撮影カメラ５０Ａ、５０Ｂよって撮影された視差画像に基づき、第１の画像計測部９１Ａによって作業空間Ｓ内の物体を３次元画像認識して３次元位置情報が取得できる。また、部分撮影カメラ４０Ａ、４０Ｂを備え、部分撮影カメラ４０Ａ、４０Ｂによって撮影された画像から第１の画像計測部９１Ａによって、組立部品１０、基準側組立部品１１およびそれらの近傍の画像計測を行って、３次元位置情報を補正することができる。
そのため、広域撮影カメラ５０Ａ、５０Ｂの計測精度が低い場合でも、把持や組付に必要な位置情報をより正確に取得することができる。そのため、作業効率が向上するとともに高精度の組立作業が可能となる。
【００８１】
なお、上記の説明では、第１の撮影カメラが、ステレオカメラまたはステレオカメラを構成するカメラの場合の例で説明したが、作業空間内の物体の３次元位置情報を取得できる画像を撮影できれば、いわゆるステレオカメラには限定されない。すなわち、予め視点位置と撮影方向が分かっている複数台の撮影カメラで被写体を撮影すれば、それぞれの画像のマッチングをとることによって、３次元位置情報を取得することができる。
【００８２】
また、上記第２の実施形態の説明では、部分撮影カメラとして、組立部品１０および基準側組立部品１１の近傍をそれぞれ撮影する複数の部分撮影カメラを用いた場合の例で説明したが、それぞれの組立部品を同時に撮影できる１台の撮影カメラでもよい。
また、部分撮影カメラによる情報は、必要に応じて、部品把持工程、部品移動工程のいずれに用いてもよい。例えば、第２の実施形態において、部品組付を正確に行うには、部品把持工程ではＺ軸方向の位置を補正せず、部品移動工程のみで位置を補正してもよい。
【００８３】
また、上記の説明では、第２の撮影カメラは、ロボットマニピュレータの把持中心軸に合致した撮影光軸を備える場合の例で説明したが、把持する組立部品をロボットマニピュレータの先端部に固定された位置から撮影できれば、把持中心軸と撮影光軸とは、ずらされた構成としてもよい。
【００８４】
また、上記の説明では、第２の撮影カメラが、２次元画像を撮影する撮影カメラの場合の例で説明したが、ステレオカメラとし、第２の画像計測部９４によって３次元画像計測を行えるようにした構成としてもよい。
【００８５】
また、上記第２の実施形態の説明では、部分撮影カメラは、広域撮影カメラに比べて高分解能の画像計測を行えるものとして説明したが、広域撮影カメラと部分撮影カメラとが同様の計測分解能を備えていてもよい。この場合にも、部分撮影カメラは、広域撮影カメラと異なる撮影方向から撮影することにより、組付の作業効率を向上することができる。例えば、広域撮影カメラの死角となる部分を撮影できるようにすれば、より確実な組付作業を行うことができる。
【００８６】
また、上記の説明では、ロボットマニピュレータの先端部および把持機構の位置を、第２の撮影カメラや第１の撮影カメラのうちの部分撮影カメラで撮影された画像によって、画像計測する場合の例で説明したが、第１の撮影カメラあるいは第１の撮影カメラのうち広域撮影カメラで、撮影した画像から算出してもよい。これにより、部品把持工程や部品移動工程において、移動位置ごとに３次元位置情報を取得することが可能となるため、複雑な移動を行う必要がある部品把持工程や部品移動工程において、移動ステップごとに、作業空間Ｓの全体の中での位置を確かめながら作業を行うことができる。
【００８７】
また、上記の説明では、組立部品１０が、不透明な部材であることを想定して、部品移動工程において、基準側組立部品１１が組立部品１０に重ならない領域に移動して、撮影を行うように説明したが、組立部品１０が、例えばガラスや透明プラスチックなどの透明体からなる場合には、組立部品１０と基準側組立部品１１とが重なる位置で撮影してもよい。この場合、予めデータ記憶部９５に、組立部品１０の屈折率などを記憶しておくことにより、組立部品１０の透過光による画像から、基準側組立部品１１の画像計測を行うことができる。
【００８８】
また、上記の説明では、１つの基準側組立部品に、１つの組立部品を組み立てる場合の例で説明したが、これは一例であり、１つの基準側組立部品に複数の組立部品を組み立てる場合でも同様にして、組立を行うことができる。また、ロボットマニピュレータによって行える組立作業であれば、組立作業の種類は特に限定されない。すなわち、上記の説明のような軸部材に組立部品を外挿する組立作業には限定されない。
【００８９】
また、上記に説明した各実施形態、各変形例の構成要素は、技術的に可能であれば、本発明の技術的思想の範囲で、適宜組み合わせて実施してもよい。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態に係る組立装置の概略構成を示す模式的な斜視図である。
【図２】本発明の第１の実施形態に係る組立装置のロボットマニピュレータの構成を示す模式的な斜視図である。
【図３】本発明の第１の実施形態に係る組立装置の把持機構の構成を示す模式的な正面図、およびそのＡ視の下面図である。
【図４】本発明の第１の実施形態に係る組立装置の制御ユニットの機能構成を示す機能ブロック図である。
【図５】基準側組立部品の一例を示す正面図および右側面図である。
【図６】組立部品の一例を示す正面図、そのＢ−Ｂ断面図、および裏面図である。
【図７】基準側組立部品に組立部品を組み付けた組立体の一例を示す断面図である。
【図８】作業空間Ｓにおける組立作業開始前の組立部品および基準側組立部品の配置の一例を示す平面図、およびそのＤ視の側面図である。
【図９】本発明の第１の実施形態に係る組立方法の部品把持工程の一ステップを説明する正面視および側面視の工程説明図である。
【図１０】部品把持工程の一ステップにおいて第２の撮影カメラで撮影された画像の一例を示す模式図である。
【図１１】部品把持工程の一ステップに続くステップを示す正面視の工程説明図、およびその位置で第２の撮影カメラで撮影された画像の一例を示す模式図である。
【図１２】本発明の第１の実施形態に係る組立方法の部品移動工程の様子を示す正面視の工程説明図、およびその位置で第２の撮影カメラで撮影された画像の一例を示す模式図である。
【図１３】本発明の第１の実施形態に係る組立方法の部品組付工程の開始時の様子を示す正面視の工程説明図である。
【図１４】本発明の第１の実施形態に係る組立方法の部品組付工程の終了時の様子を示す正面視の工程説明図である。
【図１５】本発明の第１の実施形態の組立装置を用いた組立方法の変形例について説明する斜視図、および組立部品を把持していない側のロボットマニピュレータの第２の撮影カメラで撮影された画像の一例を示す模式図である。
【図１６】本発明の第２の実施形態に係る組立装置の概略構成を示す模式的な斜視図である。
【図１７】本発明の第２の実施形態に係る組立装置の制御ユニットの機能構成を示す機能ブロック図である。
【図１８】本発明の第２の実施形態の組立装置を用いた部品把持工程における部分撮影カメラで撮影された画像の一例を示す模式図、および部品組付工程における部分撮影カメラで撮影された画像の一例を示す模式図である。
【符号の説明】
【００９１】
１ａ  ベース面
３Ａ、３Ｂ  ロボットマニピュレータ
３Ｈ  把持部
３ｇ  回転部
３ｈ  多関節把持ハンド
５  ステレオカメラ（第１の撮影カメラ）
６  部品供給台
７  組立台
９、９Ａ  制御ユニット
１０  組立部品
１１  基準側組立部品
１２Ａ、１２Ｂ  カメラ（第２の撮影カメラ）
１３  組立体
４０Ａ、４０Ｂ  部分撮影カメラ（第１の撮影カメラ）
５０Ａ、５０Ｂ  広域撮影カメラ（第１の撮影カメラ）
９１、９１Ａ  第１の画像計測部
９２  ロボットマニピュレータ制御部
９４  第２の画像計測部
９５  データ記憶部
１００、１１０  組立装置
１０１、１０２  装置本体
ＣＡ、ＣＢ  把持中心軸
Ｏ  撮影光軸
Ｓ  作業空間
Ｕ  把持位置距離
Ｖ  把持中心点
Ｗ  把持幅
【図１】
2009269110.tif 000003
【図２】
2009269110.tif 000004
【図３】
2009269110.tif 000005
【図４】
2009269110.tif 000006
【図５】
2009269110.tif 000007
【図６】
2009269110.tif 000008
【図７】
2009269110.tif 000009
【図８】
2009269110.tif 000010
【図９】
2009269110.tif 000011
【図１０】
2009269110.tif 000012
【図１１】
2009269110.tif 000013
【図１２】
2009269110.tif 000014
【図１３】
2009269110.tif 000015
【図１４】
2009269110.tif 000016
【図１５】
2009269110.tif 000017
【図１６】
2009269110.tif 000018
【図１７】
2009269110.tif 000019
【図１８】
2009269110.tif 000020