(57)【要約】【課題】作業履行状態に応じた動作を実現することができるロボットを提供すること。【解決手段】ロボットは、作業実行部と、作業実行部を制御する制御部と、を含み、制御部は、作業実行部により作業部材を組付位置に組み付け、組付位置を含む撮像画像に基づいて組み付けの状態を判定する。【選択図】図４
2015226964.tif 000002
【特許請求の範囲】
【請求項１】
作業実行部と、
前記作業実行部を制御する制御部と、
を含み、
前記制御部は、前記作業実行部により作業部材を組付位置に組み付けた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を行う、
ロボット。
【請求項２】
請求項１に記載のロボットであって、
前記制御部は、前記作業部材が前記撮像画像における前記組付位置に検出されるか否かによって前記組み付けの状態を判定する、
ロボット。
【請求項３】
請求項１又は２に記載のロボットであって、
前記制御部は、前記作業実行部により把持対象を把持し、前記把持対象により前記作業部材を前記組付位置に組み付ける、
ロボット。
【請求項４】
請求項１から３のうちいずれか一項に記載のロボットであって、
前記制御部は、パターンマッチングにより前記撮像画像に基づいて前記組み付けの状態を判定する、
ロボット。
【請求項５】
請求項１から４のうちいずれか一項に記載のロボットであって、
前記制御部は、前記除材する動作を行った場合、前記作業実行部により前記作業部材又は新たな作業部材を前記組付位置に組み付け直す、
ロボット。
【請求項６】
作業実行部を備えるロボットと、
作業部材が組み付けられる組付位置を含む撮像画像を撮像する撮像部と、
を含み、
前記ロボットは、前記作業実行部により前記作業部材を前記組付位置に組み付けた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を行う、
ロボットシステム。
【請求項７】
作業実行部を備えるロボットを動作させる制御装置であって、
前記作業実行部により作業部材を組付位置に組み付けさせた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を前記ロボットに行わせる、
制御装置。
【請求項８】
作業実行部を備えるロボットを動作させる制御方法であって、
前記作業実行部により作業部材を組付位置に組み付けさせた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を前記ロボットに行わせる、
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボット、ロボットシステム、制御装置、及び制御方法に関する。
【背景技術】
【０００２】
ロボットに道具を用いた作業を行わせることが研究・開発されている。
【０００３】
これに関連し、ロボットのアームに前記の道具としてエンドエフェクターを直接接続することが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３５３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のロボットでは、ロボットにより作業部材を組付位置に組み付けた際に前記の組み付けが失敗していた場合、前記の組み付けが失敗しているにも拘らずロボットが次の作業を行ってしまうことにより、前記の次の作業を失敗してしまう場合があった。より具体的には、従来のロボットは、ロボットにより把持されたドライバーによってネジをネジ穴に締め付けた際に前記の締め付けが失敗していた場合、前記のドライバーの先端にネジが給材されたまま残ってしまうことがある。このような場合、従来のロボットは、例えば、次の新たなネジをドライバーの先端に給材しようとしても、先端に給材されたままのネジがあるために、新たなネジの給材に失敗してしまう。
【０００６】
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができるロボット、ロボットシステム、制御装置、及び制御方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様は、作業実行部と、前記作業実行部を制御する制御部と、を含み、前記制御部は、前記作業実行部により作業部材を組付位置に組み付けた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を行う、ロボットである。
この構成により、ロボットは、作業実行部により作業部材を組付位置に組み付けた後、組付位置を含む撮像画像に基づいて組み付けの状態を判定し、組み付けが失敗した状態であると判定した場合、作業実行部から作業部材を除材する動作を行う。これにより、ロボットは、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができる。
【０００８】
また、本発明の他の態様は、ロボットおいて、前記制御部は、作業部材が撮像画像における組付位置に検出されるか否かによって組み付けの状態を判定する、構成が用いられてもよい。
この構成により、ロボットは、作業部材が撮像画像における組付位置に検出されるか否かによって組み付けの状態を判定する。これにより、ロボットは、作業部材が撮像画像における組付位置に検出された場合と、作業部材が撮像画像における組付位置に検出されていない場合とで異なる動作を行うことができる。
【０００９】
また、本発明の他の態様は、ロボットおいて、前記制御部は、前記作業実行部により把持対象を把持し、前記把持対象により前記作業部材を前記組付位置に組み付ける、構成が用いられてもよい。
この構成により、ロボットは、作業実行部により把持対象を把持し、把持対象により作業部材を組付位置に組み付ける。これにより、ロボットは、把持対象による作業履行状態に応じた動作を行うことができる。
【００１０】
また、本発明の他の態様は、ロボットおいて、前記制御部は、パターンマッチングにより前記撮像画像に基づいて前記組み付けの状態を判定する、構成が用いられてもよい。
この構成により、ロボットは、パターンマッチングにより撮像画像に基づいて組み付けの状態を判定する。これにより、ロボットは、パターンマッチングを用いて組み付けの状態を判定することができる。
【００１１】
また、本発明の他の態様は、ロボットおいて、前記制御部は、前記除材する動作を行った場合、前記作業実行部により前記作業部材又は新たな作業部材を前記組付位置に組み付け直す、構成が用いられてもよい。
この構成により、ロボットは、除材する動作を行った場合、作業実行部により前記の組み付けに用いた作業部材又は新たな作業部材を組付位置に組み付け直す。これにより、ロボットは、例えば、ユーザーによる付加的な作業を必要とせず、作業部材の組付位置への組み付けを再度行うことができる。
【００１２】
また、本発明の他の態様は、作業実行部を備えるロボットと、作業部材が組み付けられる組付位置を含む撮像画像を撮像する撮像部と、を含み、前記ロボットは、前記作業実行部により前記作業部材を前記組付位置に組み付けた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を行う、ロボットシステムである。
この構成により、ロボットシステムは、作業実行部により作業部材を組付位置に組み付けた後、組付位置を含む撮像画像に基づいて組み付けの状態を判定し、組み付けが失敗した状態であると判定した場合、作業実行部から作業部材を除材する動作を行う。これにより、ロボットシステムは、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができる。
【００１３】
また、本発明の他の態様は、作業実行部を備えるロボットを動作させる制御装置であって、前記作業実行部により作業部材を組付位置に組み付けさせた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を前記ロボットに行わせる、制御装置である。
この構成により、制御装置は、作業実行部により作業部材を組付位置に組み付けさせた後、組付位置を含む撮像画像に基づいて組み付けの状態を判定し、組み付けが失敗した状態であると判定した場合、作業実行部から作業部材を除材する動作をロボットに行わせる。これにより、制御装置は、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができる。
【００１４】
また、本発明の他の態様は、作業実行部を備えるロボットを動作させる制御方法であって、前記作業実行部により作業部材を組付位置に組み付けさせた後、前記組付位置を含む撮像画像に基づいて前記組み付けの状態を判定し、前記組み付けが失敗した状態であると判定した場合、前記作業実行部から前記作業部材を除材する動作を前記ロボットに行わせる、制御方法である。
この構成により、制御方法は、作業実行部により作業部材を組付位置に組み付けさせた後、組付位置を含む撮像画像に基づいて組み付けの状態を判定し、組み付けが失敗した状態であると判定した場合、作業実行部から作業部材を除材する動作をロボットに行わせる。これにより、制御方法は、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができる。
【００１５】
以上により、ロボット、ロボットシステム、制御装置、及び制御方法は、作業実行部により作業部材を組付位置に組み付けた後、組付位置を含む撮像画像に基づいて組み付けの状態を判定し、組み付けが失敗した状態であると判定した場合、作業実行部から作業部材を除材する動作を行う。これにより、ロボット、ロボットシステム、制御装置、及び制御方法は、作業部材の組み付けの状態に応じて作業実行部に給材されたままの作業部材を除材することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係るロボットシステム１の構成を示す図である。
【図２】状態撮像位置において第２動撮像部２２によってネジ締め位置ＳＨを含む範囲が撮像される様子の一例を示す図である。
【図３】制御装置３０のハードウェア構成の一例を示す図である。
【図４】制御装置３０の機能構成の一例を示す図である。
【図５】制御装置３０により作業履行状態を判定する処理の流れの一例を示すフローチャートである。
【図６】作業履行状態毎の第２動撮像画像をそれぞれ例示する図である。
【発明を実施するための形態】
【００１７】
＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態に係るロボットシステム１の構成を示す図である。ロボットシステム１は、４つの撮像部（第１固定撮像部１１、第２固定撮像部１２、第１動撮像部２１、第２動撮像部２２）を備えるロボット２０と、制御装置３０を具備する。
【００１８】
ロボットシステム１は、第１固定撮像部１１と第２固定撮像部１２により、ロボット２０が作業を行う範囲を撮像する。ここで、ロボットシステム１は、第１固定撮像部１１と第２固定撮像部１２により前記の撮像を行う。ロボットシステム１は、第１固定撮像部１１と第２固定撮像部１２により撮像された撮像画像に基づいて、ロボット２０により第１物体Ｐ１と、ネジ留めされることによって第１物体Ｐ１に組み付けられる第２物体Ｐ２とを重ねて配置する。また、ロボットシステム１は、前記の配置を行う際、第１物体Ｐ１のネジ穴と第２物体Ｐ２のネジ穴とが、ネジ穴の直上から直下に見たときに一致するように治具Ｔｂ（図１に示した一例では、テーブル形状の治具）上に重ねて配置する。以下では、この時のネジ穴の位置を所定のネジ締め位置ＳＨと称して説明する。ネジ締め位置ＳＨは、組付位置の一例である。
【００１９】
なお、第１物体Ｐ１は、例えば、板状の金属部材であるとするが、これに代えて、プラスチック部材や木製部材等でもよく、形状も板状に代えて、ネジ留めによって第２物体Ｐ２と組み付け可能な形状であれば他の形状であってもよい。また、第２物体Ｐ２は、例えば、板状の金属部材であるとするが、これに代えて、プラスチック部材や木製部材等でもよく、形状も板状に代えて、ネジ留めによって第１物体Ｐ１と組み付け可能な形状であれば他の形状であってもよい。
【００２０】
第１物体Ｐ１と第２物体Ｐ２を前記の治具Ｔｂ上に配置した後、ロボットシステム１は、第１固定撮像部１１と第２固定撮像部１２により撮像された撮像画像から、電動ドライバーＴが設置された位置を検出し、検出された位置に基づいて電動ドライバーＴをロボット２０に把持させる。そして、ロボットシステム１は、ロボット２０により把持された電動ドライバーＴによって給材装置ＳＢからネジＯを電動ドライバーＴの先端ＳＣに給材する。
【００２１】
電動ドライバーＴの先端ＳＣに給材するとは、電動ドライバーＴの先端ＳＣにネジＯを吸着させることを意味する。具体的には、電動ドライバーＴの先端ＳＣにネジＯを給材することには、電動ドライバーＴの先端ＳＣにネジＯを磁着する、エアーを用いて電動ドライバーＴの先端ＳＣにネジＯを吸着する等、既存の技術で採用可能なあらゆる形態が含まれる。本実施形態では、その一例として電動ドライバーＴの先端ＳＣにネジＯを磁着するものについて説明する。給材装置ＳＢとは、図１に示した位置ＳＰＰからネジＯが除材されるたびに、内部に格納されたネジＯを位置ＳＰＰに配置（給材）する装置である。
【００２２】
ロボットシステム１は、電動ドライバーＴの先端ＳＣにネジＯが給材された後、電動ドライバーＴにより給材されたネジＯをネジ締め位置ＳＨまで移動させ、ネジ締めを行う。以下では、このネジ締めが行われた後のロボットシステム１により行われる動作について説明する。
【００２３】
ロボットシステム１は、前記のネジ締めを行った後、ネジ締め位置ＳＨを含む範囲を撮像可能な位置であってネジＯが締め付けられている場合にネジＯのネジ頭が撮像可能な位置（以下、状態撮像位置と称する）から撮像し、撮像された撮像画像に基づいてネジＯがネジ締め位置ＳＨに締め付けられているか否か（すなわち、作業が履行されているか否か）を表す作業履行状態をネジＯの有無によって判定する。作業履行状態とは、この一例において、ネジＯがネジ締め位置ＳＨに締め付けられた状態と、何らかの要因よりネジＯがネジ締め位置ＳＨに締め付けられていない状態とのいずれかである。なお、前記の締め付けは、組み付けの一例である。また、作業履行状態は、組み付けの状態の一例である。
【００２４】
換言すると、ロボットシステム１は、前記の撮像画像からネジＯのネジ頭が検出された場合、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられている状態であると判定し、前記の撮像画像からネジＯのネジ頭が検出されなかった場合、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられていない状態であると判定する。なお、ロボットシステム１は、第１固定撮像部１１、第２固定撮像部１２、第１動撮像部２１、第２動撮像部２２のうちのいずれか１つ以上によって前記の撮像画像を撮像すればよい。本実施形態においては、一例として第２動撮像部２２によって前記の撮像画像を撮像される場合について説明する。
【００２５】
ロボットシステム１は、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられている状態であると判定した場合、例えば、作業を終了する。ロボットシステム１は、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられていない状態であると判定した場合、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行う。この動作により、ロボットシステム１は、ネジ締め位置ＳＨに締め付けることに失敗したネジＯが電動ドライバーＴの先端ＳＣに残っていた場合であっても、前記のネジＯを除材し、次の新たなネジＯを電動ドライバーＴの先端ＳＣに給材し直すことができる。ロボットシステム１は、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行った後、電動ドライバーＴの先端ＳＣに新たなネジＯを給材し直し、再びネジ締め位置ＳＨにネジＯを締め付けるようにロボット２０を制御する。
【００２６】
以下では、説明の便宜上、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられている状態であることを、ネジＯがネジ締め位置ＳＨに締め付けられていると称して説明する。また、作業履行状態が、ネジＯがネジ締め位置ＳＨに締め付けられていない状態であることを、ネジＯがネジ締め位置ＳＨに締め付けられていないと称して説明する。
【００２７】
なお、ロボットシステム１では、ロボット２０が電動ドライバーＴを把持している構成であるとしたが、これに代えて、他の人間が使用可能な道具（工具）であってもよく、他のロボット専用の道具であってもよい。人間が使用可能な道具とは、例えば、ラチェットハンドルやスパナ等である。前記の道具がラチェットハンドルの場合、給材する対象はネジＯに代えて、ラチェットソケット等であり、前記の道具がスパナの場合、給材する対象はネジＯに代えて、ボルトやナット等となる。また、ロボット専用の道具とは、ロボットのマニピュレーターにエンドエフェクターとして備えられた電動ドライバー等である。電動ドライバーＴ（すなわち、前記の道具）は、把持対象の一例である。また、ネジＯは、作業部材の一例である。
【００２８】
ロボット２０は、撮像部１０と、第１動撮像部２１と、第２動撮像部２２と、力センサー２３と、把持部ＨＮＤ１と、把持部ＨＮＤ２と、マニピュレーターＭＮＰ１と、マニピュレーターＭＮＰ２と、図示しない複数のアクチュエーターを備えた双腕ロボットである。双腕ロボットとは、把持部ＨＮＤ１とマニピュレーターＭＮＰ１によって構成される腕（以下、第１腕と称する）と、把持部ＨＮＤ２とマニピュレーターＭＮＰ２によって構成される腕（以下、第２腕と称する）との２本の腕を有するロボットを示す。
【００２９】
なお、ロボット２０は、双腕ロボットに代えて、単腕ロボットであってもよい。単腕ロボットとは、１本の腕を有するロボットを示し、例えば、前記した第１腕と第２腕のうちいずれか一方を有するロボットを示す。また、ロボット２０は、さらに制御装置３０を内蔵し、内蔵された制御装置３０により制御される。なお、ロボット２０は、制御装置３０を内蔵する構成代えて、外部に設置された制御装置３０により制御される構成であってもよい。
【００３０】
第１腕は、それぞれが６軸垂直多関節型となっており、支持台とマニピュレーターＭＮＰ１と把持部ＨＮＤ１とがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができる。また、第１腕は、第１動撮像部２１と、力センサー２３を備える。
第１動撮像部２１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を備えたカメラである。
【００３１】
第１動撮像部２１は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal  Serial  Bus）等の規格によって行われる。なお、第１動撮像部２１と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。
【００３２】
第１動撮像部２１は、図１に示したように第１腕を構成するマニピュレーターＭＮＰ１の一部に備えられており、第１腕の動きによって移動することが可能である。第１動撮像部２１は、把持部ＨＮＤ２により電動ドライバーＴが把持されている場合、第１腕の動きによって状態撮像位置まで移動し、状態撮像位置からネジ締め位置ＳＨを含む範囲の静止画像を第１動撮像画像として撮像する。なお、第１動撮像部２１は、静止画像を第１動撮像画像として撮像する構成であるとするが、これに代えて、動画像を第１動撮像画像として撮像する構成であってもよい。
【００３３】
第１腕に備えられた力センサー２３は、第１腕の把持部ＨＮＤ１とマニピュレーターＭＮＰ１との間に備えられている。力センサー２３は、把持部ＨＮＤ１（あるいは、把持部ＨＮＤ１に把持された電動ドライバーＴ）に作用した力やモーメントを検出する。力センサー２３は、検出した力やモーメントを示す情報を、通信により制御装置３０へ出力する。力センサー２３により検出された力やモーメントを示す情報は、例えば、制御装置３０によるロボット２０のコンプライアントモーション制御に用いられる。
【００３４】
第２腕は、それぞれが６軸垂直多関節型となっており、支持台とマニピュレーターＭＮＰ２と把持部ＨＮＤ２とがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができる。また、第２腕は、第２動撮像部２２と、力センサー２３を備える。
第２動撮像部２２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。
【００３５】
第２動撮像部２２は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第２動撮像部２２と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。
【００３６】
第２動撮像部２２は、図１に示したように第２腕を構成するマニピュレーターＭＮＰ２の一部に備えられており、第２腕の動きによって移動することが可能である。第２動撮像部２２は、把持部ＨＮＤ１により電動ドライバーＴが把持されている場合、第２腕の動きによって状態撮像位置まで移動し、状態撮像位置からネジ締め位置ＳＨを含む範囲の静止画像を第２動撮像画像として撮像する。なお、第２動撮像部２２は、静止画像を第２動撮像画像として撮像する構成であるとするが、これに代えて、動画像を第２動撮像画像として撮像する構成であってもよい。第２動撮像画像は、撮像画像の一例である。
【００３７】
第２腕に備えられた力センサー２３は、第２腕の把持部ＨＮＤ２とマニピュレーターＭＮＰ２との間に備えられている。力センサー２３は、把持部ＨＮＤ２（あるいは、把持部ＨＮＤ２に把持された電動ドライバーＴ）に作用した力やモーメントを検出する。力センサー２３は、検出した力やモーメントを示す情報を、通信により制御装置３０へ出力する。力センサー２３により検出された力やモーメントを示す情報は、例えば、制御装置３０によるロボット２０のコンプライアントモーション制御に用いられる。
【００３８】
なお、第１腕と第２腕はそれぞれ、５自由度（５軸）以下で動作するものであってもよく、７自由度（７軸）以上で動作するものであってもよい。以下では、第１腕と第２腕によって行われるロボット２０の動作について説明する。また、ロボット２０の把持部ＨＮＤ１及び把持部ＨＮＤ２は、物体を把持可能な爪部を備える。これにより、ロボット２０は、把持部ＨＮＤ１と把持部ＨＮＤ２のうちいずれか一方又は両方によって電動ドライバーＴを把持することができる。
【００３９】
撮像部１０は、第１固定撮像部１１と、第２固定撮像部１２を備え、これら２台の撮像部によって構成されるステレオ撮像部である。なお、撮像部１０は、２台の撮像部によって構成されるのに代えて、３台以上の撮像部によって構成されてもよく、１台のカメラにより二次元画像を撮像する構成であってもよい。本実施形態において、撮像部１０は、図１に示したようにロボット２０の一部としてロボット２０の頭頂部に設置されているが、これに代えて、ロボット２０とは別体としてロボット２０と異なる位置に設置される構成であってもよい。
【００４０】
第１固定撮像部１１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。第１固定撮像部１１は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第１固定撮像部１１と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。
【００４１】
第１固定撮像部１１は、ロボット２０が作業を行う範囲として給材装置ＳＢを含む範囲（以下、作業領域と称する）を撮像可能な位置に設置されている。以下では、第１固定撮像部１１により撮像される静止画像を第１固定撮像画像と称して説明する。なお、第１固定撮像部１１は、静止画像を第１固定撮像画像として撮像する構成であるとするが、これに代えて、動画像を第１固定撮像画像として撮像する構成であってもよい。また、第１固定撮像部１１によりネジ締め位置ＳＨを含む範囲を撮像する場合、第１固定撮像部１１は、作業領域を含む範囲を撮像可能な位置であってネジ締め位置ＳＨを含む範囲を撮像可能な位置に設置される。
【００４２】
第２固定撮像部１２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。第２固定撮像部１２は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第２固定撮像部１２と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。
【００４３】
第２固定撮像部１２は、第１固定撮像部１１と同様の撮像範囲（作業領域）を撮像可能な位置に設置されている。以下では、第２固定撮像部１２により撮像される静止画像を第２固定撮像画像と称して説明する。なお、第２固定撮像部１２は、作業領域の静止画像を第２固定撮像画像として撮像する構成であるとするが、これに代えて、作業領域の動画像を第２固定撮像画像として撮像する構成であってもよい。また、第２固定撮像部１２によりネジ締め位置ＳＨを含む範囲を撮像する場合、第２固定撮像部１２は、第１固定撮像部１１と同様の撮像範囲（作業領域）を撮像可能な位置であってネジ締め位置ＳＨを含む範囲を撮像可能な位置に設置される。以下では、説明の便宜上、第１固定撮像画像と第２固定撮像画像をまとめてステレオ撮像画像と称して説明する。
【００４４】
ロボット２０は、例えば、ロボット２０に内蔵されている制御装置３０とケーブルによって通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、ロボット２０と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。
【００４５】
本実施形態において、ロボット２０は、ロボット２０に内蔵された制御装置３０から制御信号を取得し、取得した制御信号に基づいて、ロボット２０の把持部ＨＮＤ１により把持された電動ドライバーＴによって給材装置ＳＢからネジＯを給材し、給材されたネジＯをネジ締め位置ＳＨに締め付けるとして説明する。そして、ロボット２０は、前述した状態撮像位置まで第２腕により第２動撮像部２２を移動させ、第２動撮像部２２により第２動撮像画像を撮像する。
【００４６】
ここで、図２を参照して、状態撮像位置における第２動撮像部２２による撮像について説明する。図２は、状態撮像位置において第２動撮像部２２によってネジ締め位置ＳＨを含む範囲が撮像される様子の一例を示す図である。なお、第２動撮像部２２は、図２において第２腕の撮像部の一部のみを切り出して描いたものである。
【００４７】
ロボット２０は、第２腕を動かすことで第２動撮像部２２を状態撮像位置まで移動させる。状態撮像位置とは、より具体的には、例えば、図２に示したようにネジ締め位置ＳＨの中心軸ＣＡに沿った鉛直上方から鉛直下方に向かって撮像する位置であるが、これに代えて、ネジＯのネジ頭を撮像可能な位置であってネジ締め位置ＳＨの鉛直上方に向かう中心軸に対して角度θだけ傾いた方向の延長線ＤＡ上における位置等、ネジＯのネジ頭を撮像可能な他の位置であってもよい。
【００４８】
ロボット２０は、状態撮像位置から第２動撮像部２２により撮像された第２動撮像画像に基づいてネジ締め位置ＳＨへのネジＯが締め付けられていないと制御装置３０が判定した場合、制御装置３０からの制御信号に基づいて電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行う。そして、ロボット２０は、制御装置３０からの制御信号に基づいて、給材装置ＳＢからネジＯを給材し直し、給材し直されたネジＯをネジ締め位置ＳＨに締め付ける。
【００４９】
なお、以下の説明において、第１腕が行う動作は、第２腕によって行われてもよく、第２腕が行う動作は、第１腕によって行われてもよい。換言すると、ロボット２０は、把持部ＨＮＤ１により電動ドライバーＴが把持される構成に代えて、把持部ＨＮＤ２により電動ドライバーＴが把持される構成であってもよい。この場合、第１腕と第２腕が行う動作は、以下の説明において入れ替わるとする。
【００５０】
制御装置３０は、撮像部１０により撮像されたステレオ撮像画像に基づいて、給材装置ＳＢの位置を検出する。なお、制御装置３０は、ステレオ撮像画像に基づいて給材装置ＳＢの位置を検出する構成に代えて、第１固定撮像部１１と第２固定撮像部１２のうちいずれか一方により撮像された第１固定撮像画像と第２固定撮像画像のうちいずれか一方に基づいて給材装置ＳＢの位置を検出する構成であってもよい。また、制御装置３０は、作業領域が第１動撮像部２１と第２動撮像部２２のうちいずれか一方により撮像された第１動撮像画像と第２動撮像画像のうちいずれか一方に基づいて給材装置ＳＢの位置を検出する構成であってもよい。
【００５１】
制御装置３０は、検出された給材装置ＳＢの位置に基づいて第１腕の把持部ＨＮＤ１により把持された電動ドライバーＴの先端ＳＣによってネジＯが給材されるようにロボット２０を制御する。そして、電動ドライバーＴの先端ＳＣによってネジＯが給材された後、制御装置３０は、ネジＯをネジ締め位置ＳＨに締め付けるようにロボット２０を制御する。
【００５２】
そして、制御装置３０は、第２腕を移動するようにロボット２０を制御することで第２動撮像部２２を状態撮像位置まで移動させる。制御装置３０は、状態撮像位置において第２動撮像部２２に第２動撮像画像を撮像させ、撮像された第２動撮像画像に基づいて作業履行状態を判定する。この時、制御装置３０は、例えば、パターンマッチング等によって第２動撮像画像上のネジ締め位置ＳＨからネジＯのネジ頭が検出されるか否かによって前記の判定を行う。
【００５３】
制御装置３０は、前記の判定の結果、ネジ頭が検出された場合、作業履行状態がネジ締め位置ＳＨへのネジＯが締め付けられている状態であると判定し、例えば、電動ドライバーＴを所定の待機位置に移動させるようにロボット２０を制御し、処理を終了する。一方、制御装置３０は、前記の判定の結果、ネジ頭が検出されない場合、作業履行状態がネジ締め位置ＳＨへのネジＯが締め付けられていない状態であると判定し、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行うようにロボット２０を制御する。
【００５４】
なお、制御装置３０は、第２動撮像画像上のネジ締め位置ＳＨからネジＯのネジ頭が検出されるか否かによって作業履行状態を判定する構成であるとしたが、これに代えて、ネジＯの先端やネジＯの軸等、ネジＯに係る形状の一部又は全部を検出し、検出されたネジＯに係る形状の一部又は全部に基づいて作業履行状態を判定する構成であってもよい。この場合、ロボットシステム１は、撮像部（例えば、カメラ）やフォトダイオードによってネジＯの位置状態を確認する。
【００５５】
制御装置３０は、ロボット２０が電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行った後、電動ドライバーＴの先端ＳＣにネジＯを給材し直し、給材されたネジＯをネジ締め位置ＳＨに締め付けるようにロボット２０を制御する。なお、制御装置３０は、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行った後、電動ドライバーＴの先端ＳＣにネジＯを給材し直し、給材されたネジＯをネジ締め位置ＳＨに締め付ける構成に代えて、他の動作（例えば、動作を停止する等）を行う構成であってもよい。
【００５６】
なお、制御装置３０は、例えば、ビジュアルサーボとコンプライアントモーション制御によって給材装置ＳＢやネジＯを破壊しないように給材装置ＳＢからのネジＯの給材や、ネジＯのネジ締め位置ＳＨへのネジ締め、電動ドライバーＴの先端ＳＣからのネジＯの除材等の動作を行う構成であるとするが、これに代えて、コンプライアントモーション制御を行わない構成であってもよく、ビジュアルサーボ以外の他の方法によってロボット２０を制御する構成であってもよい。なお、把持部ＨＮＤ１と把持部ＨＮＤ２のうちいずれか一方又は両方と、電動ドライバーＴとはそれぞれ、作業実行部の一例である。
【００５７】
次に、図３を参照して、制御装置３０のハードウェア構成について説明する。図３は、制御装置３０のハードウェア構成の一例を示す図である。制御装置３０は、例えば、ＣＰＵ（Central  Processing  Unit）３１と、記憶部３２と、入力受付部３３と、通信部３４を備え、通信部３４を介してロボット２０と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。ＣＰＵ３１は、記憶部３２に格納された各種プログラムを実行する。
【００５８】
記憶部３２は、例えば、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read−Only  Memory）、ＲＯＭ（Read−Only  Memory）、ＲＡＭ（Random  Access  Memory）などを含み、制御装置３０が処理する各種情報や画像、プログラムを格納する。なお、記憶部３２は、制御装置３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
【００５９】
入力受付部３３は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部３３は、表示部として機能してもよく、さらに、タッチパネルとして構成されてもよい。
通信部３４は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネットポート等を含んで構成される。
【００６０】
次に、図４を参照することで、制御装置３０の機能構成について説明する。図４は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、記憶部３２と、画像取得部３５と、制御部３６を備える。制御部３６が備える機能部のうち一部又は全部は、例えば、ＣＰＵ３１が、記憶部３２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００６１】
画像取得部３５は、ロボット２０から撮像部１０により撮像されたステレオ撮像画像を取得する。画像取得部３５は、取得されたステレオ撮像画像を制御部３６に出力する。また、画像取得部３５は、ロボット２０から第１動撮像部２１により撮像された第１動撮像画像を取得する。画像取得部３５は、取得された第１動撮像画像を制御部３６に出力する。また、画像取得部３５は、ロボット２０から第２動撮像部２２により撮像された第２動撮像画像を取得する。画像取得部３５は、取得された第２動撮像画像を制御部３６に出力する。
【００６２】
制御部３６は、撮像制御部４１と、作業履行状態判定部４３と、ロボット制御部４５を備える。
撮像制御部４１は、ステレオ撮像画像を撮像するように撮像部１０を制御する。より具体的には、撮像制御部４１は、第１固定撮像画像を撮像するように第１固定撮像部１１を制御し、第２固定撮像画像を撮像するように第２固定撮像部１２を制御する。また、撮像制御部４１は、第１動撮像画像を撮像するように第１動撮像部２１を制御する。また、撮像制御部４１は、第２動撮像画像を撮像するように第２動撮像部２２を制御する。
【００６３】
作業履行状態判定部４３は、予め記憶部３２により記憶された画像であってネジＯがネジ締め位置ＳＨに締め付けられた状態の画像（撮像画像やＣＧ（Computer  Graphics）等）を読み込む。そして、作業履行状態判定部４３は、読み込まれた画像に基づいて第１動撮像画像又は第２動撮像画像からネジＯのネジ頭がパターンマッチングによって検出されるか否かを判定することで、ネジ締め位置ＳＨにネジＯが締め付けられているか否か（作業履行状態）を判定する。なお、作業履行状態判定部４３は、パターンマッチングによりネジ頭を検出する構成に代えて、例えば、エッジ検出等によってネジＯのネジ頭を検出する構成等、他の方法によってネジＯのネジ頭を検出する構成であってもよい。
【００６４】
ロボット制御部４５は、撮像部１０により撮像されたステレオ撮像画像に基づくパターンマッチング等によって検出されたネジＯの位置に基づいて、例えば、ビジュアルサーボ等により電動ドライバーＴの先端ＳＣによってネジＯを給材するようにロボット２０を制御する。ロボット制御部４５は、電動ドライバーＴによってネジＯを給材した後、電動ドライバーＴを把持している腕（第１腕又は第２腕）を動かすことで、電動ドライバーＴによってネジ締め位置ＳＨにネジＯを締め付けるようにロボット２０を制御する。また、ロボット制御部４５は、作業履行状態判定部４３により作業履行状態がネジ締め位置ＳＨにネジＯが締め付けられていない状態であると判定された場合、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行うようにロボット２０を制御する。ロボット制御部４５は、ロボット２０が電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行った後、電動ドライバーＴの先端ＳＣによりネジＯを給材し直し、給材されたネジＯをネジ締め位置ＳＨに締め付けるようにロボット２０を制御する。
【００６５】
以下、図５を参照して、制御装置３０により作業履行状態を判定する処理について説明する。図５は、制御装置３０により作業履行状態を判定する処理の流れの一例を示すフローチャートである。  まず、撮像制御部４１は、作業領域のステレオ撮像画像を撮像するように撮像部１０を制御する。そして、制御部３６は、撮像部１０により撮像されたステレオ撮像画像を画像取得部３５により取得する（ステップＳ１００）。
【００６６】
次に、ロボット制御部４５は、ステップＳ１００で取得されたステレオ撮像画像に基づいて、電動ドライバーＴの先端ＳＣによってネジＯを給材するようにロボット２０を制御する（ステップＳ１１０）。なお、ロボット制御部４５は、ステレオ撮像画像に基づいて電動ドライバーＴの先端ＳＣによってネジＯを給材する構成に代えて、第１固定撮像画像と第２固定撮像画像のうちいずれか一方に基づいて電動ドライバーＴの先端ＳＣによってネジＯを給材する構成であってもよい。この場合、撮像制御部４１は、ステップＳ１００で作業領域の第１固定撮像画像と第２固定撮像画像のうちいずれか一方を撮像するように、第１固定撮像部１１と第２固定撮像部１２のうちいずれか一方を制御する。そして、制御部３６は、第１固定撮像部１１と第２固定撮像部１２のうちいずれか一方により撮像された第１固定撮像画像と第２固定撮像画像のうちいずれか一方を画像取得部３５により取得する。また、制御装置３０は、作業領域が第１動撮像部２１と第２動撮像部２２のうちいずれか一方により撮像された第１動撮像画像と第２動撮像画像のうちいずれか一方に基づいて電動ドライバーＴの先端ＳＣによってネジＯを給材する構成であってもよい。
【００６７】
次に、ロボット制御部４５は、ステップＳ１１０で給材されたネジＯをネジ締め位置ＳＨに締め付けるようにロボット２０を制御する（ステップＳ１２０）。次に、ロボット制御部４５は、ロボット２０の第１腕を動かすことでネジＯが先端ＳＣに給材された電動ドライバーＴを所定の位置（例えば、第２動撮像部２２が状態撮像位置から第２動撮像画像を撮像する際に、第１腕が第２腕と接触しない位置等）に移動させる。その後、ロボット制御部４５は、第２動撮像部２２が状態撮像位置に移動するようにロボット２０を制御する。そして、撮像制御部４１は、ネジ締め位置ＳＨを含む範囲を第２動撮像画像として撮像するように第２動撮像部２２を制御する（ステップＳ１３０）。
【００６８】
次に、制御部３６は、ステップＳ１３０で撮像された第２動撮像画像を画像取得部３５から取得する。そして、作業履行状態判定部４３は、取得された第２動撮像画像からパターンマッチングによりネジＯが検出されるか否かを判定することで、作業履行状態を判定する（ステップＳ１４０）。作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられていない状態であると判定した場合（ステップＳ１４０−Ｎｏ）、ロボット制御部４５は、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行うようにロボット２０を制御し（ステップＳ１５０）、その後、ステップＳ１１０に戻り、電動ドライバーＴの先端ＳＣによってネジＯを給材し直す。一方、作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられている状態であると判定した場合（ステップＳ１４０−Ｙｅｓ）、ロボット制御部４５は、例えば、第２腕を初期位置まで移動させ、処理を終了する。
【００６９】
ここで、図６を参照して、第２動撮像画像に基づいて判定される作業履行状態について説明する。図６は、作業履行状態毎の第２動撮像画像をそれぞれ例示する図である。図６（Ａ）には、作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられている状態である場合の第２動撮像画像の一例を示す。この場合、第２動撮像画像には、図６（Ａ）に示したように、第１物体Ｐ１と第２物体Ｐ２のネジ穴が一致している位置（ネジ締め位置ＳＨ）にネジＯのネジ頭が撮像されている。従って、作業履行状態判定部４３は、パターンマッチングにより前記のネジ頭を検出し、作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられている状態であると判定する。
【００７０】
一方、図６（Ｂ）には、作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられていない状態である場合の第２動撮像画像の一例を示す。この場合、第２動撮像画像には、図６（Ｂ）に示したように、第１物体Ｐ１と第２物体Ｐ２のネジ穴が一致している位置（ネジ締め位置ＳＨ）にネジＯが撮像されておらず、ネジ締め位置ＳＨのネジ穴が撮像されている。従って、作業履行状態判定部４３は、パターンマッチングにより前記のネジ頭を検出せず、作業履行状態が、ネジ締め位置ＳＨにネジＯが締め付けられていない状態であると判定する。
【００７１】
なお、作業履行状態は、ネジＯがネジ締め位置ＳＨに締め付けられている状態（すなわち、作業が履行された状態）と、ネジＯがネジ締め位置ＳＨに締め付けられていない状態（すなわち、作業が履行されていない状態）とのうちいずれかであったが、これに代えて、３以上の複数の状態のいずれかであってもよい。その場合、ロボットシステム１は、判定された作業履行状態（又はそれらの任意の組み合わせ）毎に異なる動作を行ってもよい。
【００７２】
以上説明したように、本実施形態に係るロボットシステム１は、把持部ＨＮＤ１又は把持部ＨＮＤ２によりネジＯをネジ締め位置ＳＨに締め付けた後、ネジ締め位置ＳＨを含む第２動撮像画像に基づいて締め付けの状態を判定し、締め付けが失敗した状態であると判定した場合、把持部ＨＮＤ１又は把持部ＨＮＤ２からネジＯを除材する動作を行う。これにより、ロボットシステム１は、ネジＯの締め付けの状態に応じて把持部ＨＮＤ１又は把持部ＨＮＤ２に給材されたままのネジＯを除材することができる。
また、ロボットシステム１は、ネジＯが第２動撮像画像におけるネジ締め位置ＳＨに検出されるか否かによって締め付けの状態を判定する。これにより、ロボットシステム１は、ネジＯが第２動撮像画像におけるネジ締め位置ＳＨに検出された場合と、ネジＯが第２動撮像画像におけるネジ締め位置ＳＨに検出されていない場合とで異なる動作を行うことができる。
【００７３】
また、ロボットシステム１は、把持部ＨＮＤ１又は把持部ＨＮＤ２により電動ドライバーＴを把持し、電動ドライバーＴによりネジＯをネジ締め位置ＳＨに締め付ける。これにより、ロボットシステム１は、電動ドライバーＴによる作業履行状態に応じた動作を行うことができる。
また、ロボットシステム１は、パターンマッチングにより第２動撮像画像に基づいてネジＯのネジ締め位置ＳＨへの締め付けの作業履行状態を判定する。これにより、ロボットシステム１は、パターンマッチングを用いて作業履行状態を判定することができる。
【００７４】
また、ロボットシステム１は、電動ドライバーＴの先端ＳＣからネジＯを除材する動作を行った場合、ネジＯをネジ締め位置ＳＨに締め付け直す。これにより、ロボットシステム１は、例えば、ネジＯをネジ締め位置ＳＨに締め付けることに失敗した場合であっても、ユーザーによる付加的な作業を必要とせず、ネジＯのネジ締め位置ＳＨへの締め付けを再度行うことができる。
【００７５】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【００７６】
また、以上に説明した装置（例えば、ロボットシステム１の制御装置３０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７７】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００７８】
１  ロボットシステム、１０  撮像部、１１  第１固定撮像部、１２  第２固定撮像部、２０  ロボット、２１  第１動撮像部、２２  第２動撮像部、２３  力センサー、３０  制御装置、３１  ＣＰＵ、３２  記憶部、３３  入力受付部、３４  通信部、３５  画像取得部、３６  制御部、４１  撮像制御部、４３  作業履行状態判定部、４５  ロボット制御部
【図１】
2015226964.tif 000003
【図２】
2015226964.tif 000004
【図３】
2015226964.tif 000005
【図４】
2015226964.tif 000006
【図５】
2015226964.tif 000007
【図６】
2015226964.tif 000008