(57)【要約】【課題】３Ｄレーザ計測技術で得られた測定データによるモデルマッチングを行わずに、ロボットがワークに対して作業を行うために必要なデータを抽出し、ワークに対して作業を行うことができる物体認識ロボットシステムを提供する。【解決手段】ワーク表面の様々な箇所で点測定を行ってワークの３次元データを有する点群データを取得する３Ｄセンサ２０と、３Ｄセンサ２０で得られた点群データより、ワークの位置情報及び法線情報を少なくとも算出する物体認識装置２２と、物体認識装置２２から少なくとも位置情報及び法線情報を受信し、物体認識装置２２から取得した情報に基づいて、ロボット１０の動作を制御するロボット制御信号、及びロボット１０の先端に取り付けられたエンドエフェクタ１５のエンドエフェクタ制御信号を生成するロボットコントローラ３０とを備える。【選択図】図１
2011167815.tif 000002
【特許請求の範囲】
【請求項１】
ワーク表面の様々な箇所で点測定を行って前記ワークの３次元データを有する点群データを取得する３Ｄセンサと、
前記３Ｄセンサで得られた前記点群データより、前記ワークの位置情報及び法線情報を少なくとも算出する物体認識装置と、
前記物体認識装置から少なくとも前記位置情報及び前記法線情報を受信し、前記物体認識装置から取得した情報に基づいて、ロボットの動作を制御するロボット制御信号、及び前記ロボットの先端に取り付けられたエンドエフェクタのエンドエフェクタ制御信号を生成するロボットコントローラ
とを備えることを特徴とする物体認識ロボットシステム。
【請求項２】
前記物体認識装置が算出する前記位置情報は、前記ワークの重心情報を含むことを特徴とする請求項１に記載の物体認識ロボットシステム。
【請求項３】
前記物体認識装置は、更に、前記ワークの長手方向ベクトル情報を算出し、前記ロボットコントローラに前記長手方向ベクトル情報を送信することを特徴とする請求項１又は２に記載の物体認識ロボットシステム。
【請求項４】
前記ロボットコントローラは、前記物体認識装置から取得した情報に加えて少なくとも前記エンドエフェクタのエンドエフェクタ形状情報及び前記ワークのワーク形状情報に基づいて前記ロボット制御信号を生成することを特徴とする請求項１〜３のいずれか１項に記載の物体認識ロボットシステム。
【請求項５】
前記物体認識装置は、前記エンドエフェクタが前記ワークに対して衝突するか否かの衝突判定を行い、衝突すると判定した場合には、前記エンドエフェクタの作業を停止する制御を行うことを特徴とする請求項１〜４のいずれか１項に記載の物体認識ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステムに関し、特に、ロボットの作業対象であるワークの物体認識をして作業する物体認識ロボットシステムに関する。
【背景技術】
【０００２】
工場等において組み立て作業、加工作業等を行うロボットマニピュレータ（以下、単に「ロボット」と称す）が、作業対象のワークを認識するためのシステムとして、３次元（３Ｄ）レーザ計測技術等を利用した物体認識システムが採用されている（例えば、特許文献１及び２参照。）。レーザセンサを用いる３Ｄレーザ計測技術では、レーザセンサによる測定によってロボットの作業対象であるワークの３次元形状情報、位置情報、距離情報等を取得することができる。
【０００３】
物体認識システムでは、３Ｄレーザ計測技術等で測定した認識対象物（ワーク）の測定データと、作業対象のワークの３ＤＣＡＤデータ又は実計測モデルデータとをモデルマッチング等のアルゴリズムを使用することで一致させて物体認識を行っている。
【０００４】
認識対象物の形状や表面の特徴によってはレーザが反射及び吸収してしまうことで３Ｄレーザ計測技術では十分な測定データが得られない場合がある。十分な測定データが得られない場合には、モデルマッチングが有効に機能せずに、物体認識が行えないという問題があった。そして、物体認識が行えない場合では、３Ｄレーザ計測技術等の物体認識システムを利用したロボットシステムは、作業対象のワークの認識ができていないので、ワークに対して把持等の作業を行うことができないという問題がある。
【０００５】
また、Ｏリングや袋に入った原料などの形状が一定ではない認識対象物に対しては、モデルマッチング自体が適用できないので、３Ｄレーザ計測技術等の物体認識システムを利用したロボットシステムは、ワークに対して作業を行うことができないという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２７７１６７号公報
【特許文献２】特開平２−１１０７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであって、３Ｄレーザ計測技術で得られた測定データによるモデルマッチングを行わずに、ロボットがワークに対して作業を行うために必要なデータを抽出し、ワークに対して作業を行うことができる物体認識ロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願発明の一態様によれば、ワーク表面の様々な箇所で点測定を行ってワークの３次元データを有する点群データを取得する３Ｄセンサと、３Ｄセンサで得られた点群データより、ワークの位置情報及び法線情報を少なくとも算出する物体認識装置と、物体認識装置から少なくとも位置情報及び法線情報を受信し、物体認識装置から取得した情報に基づいて、ロボットの動作を制御するロボット制御信号、及びロボットの先端に取り付けられたエンドエフェクタのエンドエフェクタ制御信号を生成するロボットコントローラとを備える物体認識ロボットシステムであることを要旨とする。
【発明の効果】
【０００９】
本発明によれば、３Ｄレーザ計測技術で得られた測定データによるモデルマッチングを行わずに、ロボットがワークに対して作業を行うために必要なデータを抽出し、ワークに対して作業を行うことができる物体認識ロボットシステムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る物体認識ロボットシステムの概略図である。
【図２】本発明の実施の形態に係る物体認識ロボットシステムのシステム概略図である。
【図３】本発明の実施の形態に係る物体認識ロボットシステムがボルトに対して物体認識を行う場合の具体例を示す概略図である。
【図４】図４（ａ）は、作業対象ワークの上方向からの実シーンを示す図であり、図４（ｂ）は、図４（ａ）で示した作業対象ワークを本発明の実施の形態に係る物体認識ロボットシステムで測定した点群データを示す図である。
【図５】図５（ａ）は、作業対象ワークの横方向からの実シーンを示す図であり、図５（ｂ）は、図５（ａ）で示した作業対象ワークを本発明の実施の形態に係る物体認識ロボットシステムで測定した点群データを示す図である。
【図６】図６（ａ）は、作業対象ワークの上方向からの実シーンを示す図であり、図６（ｂ）は、図６（ａ）で示した作業対象ワークを本発明の実施の形態に係る物体認識ロボットシステムで測定した点群データを示す図である。
【図７】図７（ａ）は、作業対象ワークの横方向からの実シーンを示す図であり、図７（ｂ）は、図７（ａ）で示した作業対象ワークを本発明の実施の形態に係る物体認識ロボットシステムで測定した点群データを示す図である。
【図８】本発明の実施の形態に係る物体認識ロボットシステムがナットに対して物体認識を行う場合の具体例を示す概略図である。
【図９】本発明の実施の形態に係る物体認識ロボットシステムがワッシャーに対して物体認識を行う場合の具体例を示す概略図である。
【図１０】本発明の実施の形態に係る物体認識ロボットシステムがＯリングに対して物体認識を行う場合の具体例を示す概略図である。
【図１１】本発明の実施の形態に係る物体認識ロボットシステムが固形糊（袋に収納されたもの）に対して物体認識を行う場合の具体例を示す概略図である。
【図１２】本発明の実施の形態に係る物体認識ロボットシステムがベアリングに対して物体認識を行う場合の具体例を示す概略図である。
【図１３】本発明のその他の実施の形態に係る物体認識ロボットシステムのエンドエフェクタの一例を示すの概略図である。
【図１４】本発明のその他の実施の形態に係る物体認識ロボットシステムのエンドエフェクタの先端部（その１）を示すの概略図である。
【図１５】本発明のその他の実施の形態に係る物体認識ロボットシステムのエンドエフェクタの先端部（その２）を示すの概略図である。
【図１６】本発明のその他の実施の形態に係る物体認識ロボットシステムのエンドエフェクタの先端部（その３）を示すの概略図である。
【発明を実施するための形態】
【００１１】
以下に図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なる。したがって、具体的な厚みや寸法は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１２】
（実施の形態）
本発明の実施の形態に係る物体認識ロボットシステムは、図１に示すように、ワーク（部品）表面の様々な箇所で点測定を行ってワークの３次元（３Ｄ）データを有する点群データを取得する３Ｄセンサ２０と、３Ｄセンサ２０で得られた点群データより、ワークの位置情報及び法線情報を少なくとも算出する物体認識装置２２と、物体認識装置２２から少なくとも位置情報及び法線情報を受信し、物体認識装置２２から取得した情報に基づいて、ロボット１０の動作を制御するロボット制御信号、及びロボット１０の先端に取り付けられたエンドエフェクタ１５のエンドエフェクタ制御信号を生成するロボットコントローラ３０とを備える。
【００１３】
３Ｄセンサ２０は、図１に示すように、ワーク供給台６０上に配置された部品トレイ５０内を測定することができる位置に設けられ、部品トレイ５０に収容されたワークの点群データを取得するセンサである。図１では、部品トレイ５０は１つで示しているが、１種類のワークがワーク毎に収容され、複数の部品トレイ５０が用いられることもある。部品トレイ５０に収容されるワークは、整列配置して収容しても良く、乱雑なバラ積みであっても良い。
【００１４】
３Ｄセンサ２０によって取得される点群データは、ワークの様々な箇所を点測定することで得られた各点での３Ｄデータを参照し、各点間の距離が比較的近い隣接する点を結ぶことで得られるデータである。各点間の距離が比較的近い隣接する点とは、例えば、ある点からの距離が２〜４ｍｍの間にあると定義された点のことである。３Ｄセンサ２０としては、レーザスキャナを使用する方法、及びステレオカメラを使用する方法等を採用することができる。
【００１５】
３Ｄセンサ２０としてレーザスキャナを使用する方法では、まず、パルス状の赤外線レーザを測定対象（部品トレイ５０に収容された部品ワーク）に照射する。そして、測定対象等で反射したレーザ光をＣＣＤカメラ等で受光して位相を測定し、測定対象までの距離を算出する。更に、３Ｄセンサ２０の照射方向を２次元的にスキャンさせながら距離を連続的に測定することで、測定対象までの距離と方位の３Ｄデータを取得することができる。測定対象までの距離算出としては、パルス状の赤外線レーザの位相測定の他に、三角測量および反射時間計測によっても距離を算出することができる。
【００１６】
３Ｄセンサ２０としてステレオカメラを使用する方法では、まず、複数台のカメラで測定対象を同時に撮影する。そして、各カメラで得られたその物体の画像上での映る位置の違い（視差）から位置、距離、立体的な形状を測定することで、測定対象の３Ｄデータを取得することができる。
【００１７】
物体認識装置２２は、図１及び図２に示すように、３Ｄセンサ２０及びロボットコントローラ３０に接続されている。物体認識装置２２は、ロボットコントローラ３０からロボット１０がピッキング等の作業をする作業対象のワークについての計測指令を受信し、計測指令の対象となっているワークを計測するように３Ｄセンサ２０を制御する。また、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ワークの位置情報（ワーク位置座標）、法線情報、及び長手方向ベクトル情報等を算出する。ワークの位置情報には、ワークの重心情報が含まれる。
【００１８】
また、物体認識装置２２は、エンドエフェクタ１５がワークのピッキング動作等の作業を行っているときに、エンドエフェクタ１５がワークに対して衝突するか否かの衝突判定を行い、衝突すると判定した場合には、ワークのピッキング作業を実行しない判断を行う。
【００１９】
また、物体認識装置２２は、作業者等によって入力されたロボット１０の先端に取り付けられたエンドエフェクタ１５のエンドエフェクタ形状情報、及びロボット１０がピッキング等の作業をする作業対象のワークについてのワーク形状情報部品情報を記憶することができる。エンドエフェクタ形状情報及びワーク形状情報部品情報は、例えば、周知の磁気テープ、磁気ドラム、磁気ディスク、光ディスク、光磁気ディスク、あるいはＲＯＭ、ＲＡＭなどの半導体メモリ等の記憶装置に記憶される。
【００２０】
ロボットコントローラ３０は、図１及び図２に示すように、ロボット１０、エンドエフェクタ１５、及び物体認識装置２２に接続されている。ロボットコントローラ３０は、物体認識装置２２が算出したワークの位置情報、法線情報、距離情報、及び３Ｄ形状情報等を受信し、物体認識装置２２から取得したこれらの情報に基づいて、ロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。生成したロボット制御信号及びエンドエフェクタ制御信号は、それぞれロボット１０及びエンドエフェクタ１５に送信され、ロボット１０及びエンドエフェクタ１５の動作を制御する。
【００２１】
ロボット制御信号及びエンドエフェクタ制御信号は、測定対象である部品を３Ｄセンサ２０で認識し、例えば、把持するワークの箇所（例えば、ボルトの中心）のＸＹＺ座標位置と、把持する方向・姿勢（オイラー角やロール・ピッチ・ヨー角など、３角度Ａ、Ｂ、Ｃ角）の６次元情報である。
【００２２】
ロボット１０は、基台１１側から順に第１アーム部１２ａ、第２アーム部１２ｂ、第３アーム部１２ｃ、第４アーム部１２ｄを有している。基台１１と第１アーム部１２ａはＡ１軸１３ａで回転可能に連結されている。第１アーム部１２ａと第２アーム部１２ｂはＡ２軸１３ｂで回転可能に連結されている。第２アーム部１２ｂと第３アーム部１２ｃはＡ３軸１３ｃで回転可能に連結されている。第３アーム部１２ｃの先端側（第４アーム部１２ｄ側）はＡ４軸１３ｄにより、基端側（第２アーム部１２ｂ側）に対して回転可能とされている。第３アーム部１２ｃと第４アーム部１２ｄはＡ５軸１３ｅで回転可能に連結されている。第４アーム部１２ｄの先端には、Ａ６軸１３ｆを介してフランジ部１４が回転可能に連結されている。このように構成された本実施形態のロボット１０においては、Ａ１軸１３ａ〜Ａ６軸１３ｆの各軸用のロータリアクチュエータに、ロボットコントローラ３０から適切な制御値を与えることで、基台１１に対して第１〜第４アーム部１２ａ〜１２ｄを適切な姿勢とする。
【００２３】
ロボット１０のフランジ部１４には、エンドエフェクタ１５が取り付けられる。エンドエフェクタ１５は、ロボット１０の使用時において、ロボット１０を使用するシステム上の作業に適したものが適宜取り付けられる。フランジ部１４に取り付けられたエンドエフェクタ１５は、フランジ部１４に対するエンドエフェクタ１５の立設方向と平行に延在する回転軸であるＡ６軸１３ｆの周りに、Ａ６軸１３ｆ用のロータリアクチュエータによって回転することができる。エンドエフェクタ１５としては、例えば、ワークをピッキングするための２爪グリッパ及び吸着ハンド等を採用することができる。吸着ハンドの吸着手段としては、吸引、磁力、粘着材料等の種々の手段を用いることができる。
【００２４】
エンドエフェクタ１５は、エンドエフェクタコントローラ４０によって動作が制御される。エンドエフェクタコントローラ４０は、第３アーム部１２ｃに設置され、ロボットコントローラ３０及びエンドエフェクタ１５に接続されている。エンドエフェクタコントローラ４０は、ロボットコントローラ３０で生成したエンドエフェクタ制御信号を受信し、エンドエフェクタ制御信号に基づいてエンドエフェクタ１５の動作を制御する。本実施形態のエンドエフェクタ１５において、例えば、２爪グリッパを採用した場合は、２爪グリッパの開閉動作や姿勢等がエンドエフェクタ制御信号によって制御される。
【００２５】
（実施例１）
実施の形態に係る物体認識ロボットシステムを用いて棒状又は円柱状の対象ワーク（例えば、ボルト、コイルバネ）をピッキングする制御について説明する。棒状又は円柱状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として２爪グリッパ（ハンド）を採用する。
【００２６】
まず、ロボットコントローラ３０は、ロボット１０がピッキングするワーク（ボルト）９０についての計測指令、及び使用したいエンドエフェクタ１５の種類を物体認識装置２２に送信する。そして、物体認識装置２２は、記憶されているエンドエフェクタ１５のエンドエフェクタ形状情報から、図３に示すようなハンドの開閉範囲であるスクロールＬ１、ハンドの縦方向サイズＬ２、ハンドの横方向サイズＬ３を読み出す。また、物体認識装置２２は、記憶されているワーク形状情報部品情報から、計測指令の対象となっているボルト９０についてのワーク奥行きＬ４を読み出す。
【００２７】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているボルト９０を計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００２８】
ここで、３Ｄセンサ２０によるワーク計測について説明する。図４（ａ）及び図５（ａ）に示すように、ワーク７０ａがワーク７０ｂ，７０ｃ，７０ｄの上に重なっているワークを、３Ｄセンサ２０で計測した場合について示す。部品トレイ５０の上方向からワーク７０ａ，７０ｂ，７０ｃ，７０ｄを３Ｄセンサ２０で計測した場合には、図４（ｂ）に示すような点群データが得られる。部品トレイ５０の横方向からワーク７０ａ，７０ｂ，７０ｃ，７０ｄを３Ｄセンサ２０で計測した場合には、図５（ｂ）に示すような点群データが得られる。ワーク７０ａ，７０ｂ，７０ｃ，７０ｄに対応する点群データは、点群データ８０ａ，８０ｂ，８０ｃ，８０ｄである。このとき、得られた点群データにおいて、計測した点の座標から３Ｄセンサ２０までの垂直方向距離を計算し、隣接する点と３Ｄセンサ２０との垂直方向距離の差が所定の値以下の場合には連続した点群のデータとなり連続面と判断し、所定の値以上の場合には不連続の点群となり不連続の面と判断する。点群のデータで連続面と判断されるのは、図４（ａ）及び図５（ａ）に示す点群データ８０ａであり、重なりのない最上部に配置されているワーク７０ａを計測したときである。一方、点群のデータで不連続面と判断されるのは、図４（ａ）及び図５（ａ）に示す点群データ８０ｂ，８０ｃ，８０ｄであり、重なりのあるワーク７０ｂ，７０ｃ，７０ｄを計測したときである。したがって、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、最上部の連続面が得られたワークをロボット１０の作業対象のワークとして認識する。
【００２９】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ボルト９０の位置情報、法線情報、及び長手方向ベクトル情報を算出する。作業対象がボルトである場合、図３に示すように、位置情報として、ボルト９０の（面積上）重心点Ｐを算出し、法線情報として、鉛直方向に最も近い（内積が大きい）法線Ｖを算出し、長手方向ベクトル情報として、ボルト９０の長手方向Ｈを算出する。算出された重心点Ｐ、法線Ｖ、及び、長手方向Ｈは、ロボットコントローラ３０へと出力される。
【００３０】
ロボットコントローラ３０は、物体認識装置２２で算出された重心点Ｐ、法線Ｖ、長手方向Ｈを参照して、エンドエフェクタ１５にてボルト９０のピックアップ作業が行えるワークであるか判断する。判断の具体的な内容としては、重心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向で把持体制を取ることができ、エンドエフェクタ１５が長手方向Ｈの向きで把持することができるかを判断する。
【００３１】
また、物体認識装置２２は、予め入力されたスクロールＬ１、縦方向サイズＬ２、横方向サイズＬ３、ワーク奥行きＬ４を更に鑑みて、ボルト９０がピックアップ作業が行える状況にあるワークであるか判断する。判断の具体的な内容としては、Ｌ１〜Ｌ３で規定される範囲に障害となるもの（他のワークや部品トレイ５０等）がなく、Ｌ４で規定する奥行きまでエンドエフェクタ１５を進行させることができるかを判断する。
【００３２】
ロボットコントローラ３０は、ボルト９０がピックアップ作業することができると判断した場合、ボルト９０に対してピックアップ作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってボルト９０のピックアップ作業が行われる。物体認識装置２２は、ボルト９０がピックアップ作業することができないと判断した場合、他のボルト９０に対してピックアップ作業ができるか再び判断する。
【００３３】
物体認識装置２２で算出された重心点Ｐ、法線Ｖ、長手方向Ｈや、ロボットコントローラ３０に予め入力されたスクロールＬ１、縦方向サイズＬ２、横方向サイズＬ３、ワーク奥行きＬ４を参照したにも関わらず、エンドエフェクタ１５がワーク等に衝突してしまう可能性があるのは、３Ｄセンサ２０で得られた点群データは、点群データを計測したワークの表面の箇所及び角度によって、実際のワーク間の距離と点群データ間の距離が異なってしまう等の影響を及ぼす可能性があるためである。
【００３４】
例えば、図６（ａ）及び図７（ａ）に示すように、等間隔で並列に並べられている円筒形のワーク７１ａ，７１ｂ，７１ｃを、３Ｄセンサ２０で計測した場合について示す。部品トレイ５０の上方向からワーク７１ａ，７１ｂ，７１ｃを３Ｄセンサ２０で計測した場合には、図６（ｂ）に示すような点群データが得られる。部品トレイ５０の横方向からワーク７１ａ，７１ｂ，７１ｃを３Ｄセンサ２０で計測した場合には、図７（ｂ）に示すような点群データが得られる。ワーク７１ａ，７１ｂ，７１ｃに対応する点群データは、点群データ８１ａ，８１ｂ，８１ｃである。等間隔で並列に並べられている円筒形のワーク７１ａ，７１ｂ，７１ｃを計測したので、点群データ８１ａ，８１ｂ，８１ｃも等間隔で得られることが望ましい。しかし、図７（ａ）に示すように、３Ｄセンサ２０で得られた点群データは、ワークの中央部で計測されるとは限らない。ワークの中央部以外で点群データが計測された場合には、図６（ｂ）及び図７（ｂ）で示すように、得られた点群データ間の距離は、実際のワーク間の距離と異なって示されてしまうことがある。また、３Ｄセンサ２０と部品の間に障害物があり、点群データの計測ができないことがある。この様な場合には、エンドエフェクタ１５がワーク等に衝突してしまう可能性があるので、実施の形態に係る物体認識装置２２では、エンドエフェクタ１５の衝突判定を行い、ロボット１０及びエンドエフェクタ１５の衝突による故障を防ぐことが好ましい。衝突判定方法としては、観測された点に対して一般的な交差判定を用いる事ができる。
【００３５】
（実施例２）
実施の形態に係る物体認識ロボットシステムを用いて厚型リング状の対象ワーク（例えば、大型ナット）を内径把持する制御について説明する。厚型リング状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として２爪グリッパ（ハンド）を採用する。
【００３６】
まず、ロボットコントローラ３０は、ロボット１０が内径把持するワーク（ナット）９１ａについての計測指令を物体認識装置２２に送信する。
【００３７】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているナット９１ａを計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００３８】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ナット９１ａの位置情報及び法線情報を算出する。作業対象がナットである場合、図８（ａ）に示すように、位置情報として、ナット９１ａの内径の中心点Ｐを算出し、法線情報として、ナット９１ａの上面Ｓの法線Ｖを算出する。算出された中心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００３９】
ロボットコントローラ３０は、物体認識装置２２で算出された中心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてナット９１ａの内径把持作業が行えるワークであるか判断する。判断の具体的な内容としては、中心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向で内径把持体制を取ることができるかを判断する。
【００４０】
ロボットコントローラ３０は、ナット９１ａが内径把持作業することができると判断した場合、ナット９１ａに対して内径把持作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってナット９１ａの内径把持作業が行われる。物体認識装置２２は、ナット９１ａが内径把持作業することができないと判断した場合、他のナット９１ａに対して内径把持作業ができるか再び判断する。
【００４１】
（実施例３）
実施の形態に係る物体認識ロボットシステムを用いて厚型リング状の対象ワーク（例えば、小型ナット）を外径把持する制御について説明する。厚型リング状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として２爪グリッパ（ハンド）を採用する。
【００４２】
まず、ロボットコントローラ３０は、ロボット１０が外径把持するワーク（ナット）９１ｂについての計測指令を物体認識装置２２に送信する。そして、物体認識装置２２は、記憶されているエンドエフェクタ１５のエンドエフェクタ形状情報から、図８（ｂ）に示すようなハンドの開閉範囲であるスクロールＬ１、ハンドの縦方向サイズＬ２、ハンドの横方向サイズＬ３を読み出す。また、物体認識装置２２は、記憶されているワーク形状情報部品情報から、計測指令の対象となっているナット９１ｂについてのワーク奥行きＬ４を読み出す。
【００４３】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているナット９１ｂを計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００４４】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ナット９１ｂの位置情報及び法線情報を算出する。作業対象がナットである場合、図８（ｂ）に示すように、位置情報として、ナット９１ｂの内径の中心点Ｐを算出し、法線情報として、ナット９１ｂの上面Ｓの法線Ｖを算出する。算出された中心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００４５】
ロボットコントローラ３０は、物体認識装置２２で算出された中心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてナット９１ｂの外径把持作業が行えるワークであるか判断する。判断の具体的な内容としては、中心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向で外径把持体制を取ることができるかを判断する。
【００４６】
また、物体認識装置２２は、予め入力されたスクロールＬ１、縦方向サイズＬ２、横方向サイズＬ３、ワーク奥行きＬ４を更に鑑みて、ナット９１ｂが外径把持作業を行える状況にあるワークであるか判断する。判断の具体的な内容としては、Ｌ１〜Ｌ３で規定される範囲に障害となるもの（他のワークや部品トレイ５０等）がなく、Ｌ４で規定する奥行きまでエンドエフェクタ１５を進行させることができるかを判断する。
【００４７】
ロボットコントローラ３０は、ナット９１ｂが外径把持作業することができると判断した場合、ナット９１ｂに対して外径把持作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってナット９１ｂの外径把持作業が行われる。物体認識装置２２は、ナット９１ｂが外径把持作業することができないと判断した場合、他のナット９１ｂに対して外径把持作業ができるか再び判断する。
【００４８】
（実施例４）
実施の形態に係る物体認識ロボットシステムを用いて平面状の対象ワーク（例えば、ワッシャー）を吸着、粘着等でピックアップする制御について説明する。平面状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として吸着ハンドを採用する。
【００４９】
まず、ロボットコントローラ３０は、ロボット１０がピックアップするワーク（ワッシャー）９２についての計測指令を物体認識装置２２に送信する。
【００５０】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているワッシャー９２を計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００５１】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ワッシャー９２の位置情報及び法線情報を算出する。作業対象がワッシャーである場合、図９に示すように、位置情報として、計測範囲内で一番高所点Ｐを算出し、法線情報として、部品トレイ５０のトレイ面の法線Ｖ（固定値）を算出する。算出された高所点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００５２】
ロボットコントローラ３０は、物体認識装置２２で算出された高所点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてワッシャー９２のピックアップ作業が行えるワークであるか判断する。判断の具体的な内容としては、高所点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向でピックアップ体制を取ることができるかを判断する。
【００５３】
ロボットコントローラ３０は、ワッシャー９２がピックアップ作業することができると判断した場合、ワッシャー９２に対してピックアップ作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってワッシャー９２のピックアップ作業が行われる。物体認識装置２２は、ワッシャー９２がピックアップ作業することができないと判断した場合、他のワッシャー９２に対してピックアップ作業ができるか再び判断する。
【００５４】
（実施例５）
実施の形態に係る物体認識ロボットシステムを用いて薄型リング状の対象ワーク（例えば、Ｏリング）を内径把持する制御について説明する。薄型リング状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として２爪グリッパ（ハンド）を採用する。
【００５５】
まず、ロボットコントローラ３０は、ロボット１０が内径把持するワーク（Ｏリング）９３についての計測指令を物体認識装置２２に送信する。
【００５６】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているＯリング９３を計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００５７】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、Ｏリング９３の位置情報及び法線情報を算出する。作業対象がＯリングである場合、図１０（ａ）に示すように、位置情報として、Ｏリング９３の内径の中心点Ｐを算出し、法線情報として、Ｏリング９３の上面Ｓの法線Ｖを算出する。算出された中心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００５８】
ロボットコントローラ３０は、物体認識装置２２で算出された中心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてＯリング９３の内径把持作業が行えるワークであるか判断する。判断の具体的な内容としては、中心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向で内径把持体制を取ることができるかを判断する。
【００５９】
ロボットコントローラ３０は、Ｏリング９３が内径把持作業することができると判断した場合、Ｏリング９３に対して内径把持作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってＯリング９３の内径把持作業が行われる。物体認識装置２２は、Ｏリング９３が内径把持作業することができないと判断した場合、他のＯリング９３に対して内径把持作業ができるか再び判断する。
【００６０】
（実施例６）
実施の形態に係る物体認識ロボットシステムを用いて薄型リング状の対象ワーク（例えば、Ｏリング）を部分把持する制御について説明する。薄型リング状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として２爪グリッパ（ハンド）を採用する。
【００６１】
まず、ロボットコントローラ３０は、ロボット１０が部分把持するワーク（Ｏリング）９３についての計測指令を物体認識装置２２に送信する。そして、物体認識装置２２は、記憶されているエンドエフェクタ１５のエンドエフェクタ形状情報から、図１０（ｂ）に示すようなハンドの開閉範囲であるスクロールＬ１、ハンドの縦方向サイズＬ２、ハンドの横方向サイズＬ３を読み出す。また、物体認識装置２２は、記憶されているワーク形状情報部品情報から、計測指令の対象となっているＯリング９３についてのワーク奥行きＬ４を読み出す。
【００６２】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているＯリング９３を計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００６３】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、Ｏリング９３の位置情報、法線情報、及び長手方向ベクトル情報を算出する。作業対象がＯリングである場合、図１０（ｂ）に示すように、位置情報として、Ｏリング９３の最も高所点Ｐを算出し、法線情報として、鉛直方向である法線Ｖを算出し、長手方向ベクトル情報として、高所点Ｐと接する近傍直線の方向Ｈを算出する。算出された高所点Ｐ、法線Ｖ、及び方向Ｈは、ロボットコントローラ３０へと出力される。
【００６４】
ロボットコントローラ３０は、物体認識装置２２で算出された高所点Ｐ、法線Ｖ、方向Ｈを参照して、エンドエフェクタ１５にてＯリング９３の部分把持作業が行えるワークであるか判断する。判断の具体的な内容としては、高所点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向で部分把持体制を取ることができ、エンドエフェクタ１５が方向Ｈの向きで把持することができるかを判断する。
【００６５】
また、物体認識装置２２は、予め入力されたスクロールＬ１、縦方向サイズＬ２、横方向サイズＬ３、ワーク奥行きＬ４を更に鑑みて、Ｏリング９３が部分把持作業が行える状況にあるワークであるか判断する。判断の具体的な内容としては、Ｌ１〜Ｌ３で規定される範囲に障害となるもの（他のワークや部品トレイ５０等）がなく、Ｌ４で規定する奥行きまでエンドエフェクタ１５を進行させることができるかを判断する。
【００６６】
ロボットコントローラ３０は、Ｏリング９３が部分把持作業することができると判断した場合、Ｏリング９３に対して部分把持作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってＯリング９３の部分把持作業が行われる。物体認識装置２２は、Ｏリング９３が部分把持作業することができないと判断した場合、他のＯリング９３に対して部分把持作業ができるか再び判断する。
【００６７】
（実施例７）
実施の形態に係る物体認識ロボットシステムを用いて袋に入った原料である対象ワーク（例えば、固形糊）をピックアップする制御について説明する。袋に入った原料である対象ワークを作業対象とする場合には、エンドエフェクタ１５として吸着ハンドを採用する。
【００６８】
まず、ロボットコントローラ３０は、ロボット１０がピックアップするワーク（固形糊）９４についての計測指令を物体認識装置２２に送信する。
【００６９】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっている固形糊９４を計測するように３Ｄセンサ２０を制御して、点群データを取得する。
【００７０】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、固形糊９４の位置情報及び法線情報を算出する。作業対象が固形糊である場合、図１１に示すように、位置情報として、固形糊９４の（面積上）重心点Ｐを算出し、法線情報として、鉛直方向に最も近い（内積が大きい）法線Ｖを算出を算出する。算出された重心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００７１】
ロボットコントローラ３０は、物体認識装置２２で算出された重心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にて固形糊９４のピックアップ作業が行えるワークであるか判断する。判断の具体的な内容としては、重心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向でピックアップ体制を取ることができるかを判断する。
【００７２】
ロボットコントローラ３０は、固形糊９４がピックアップ作業することができると判断した場合、固形糊９４に対してピックアップ作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によって固形糊９４のピックアップ作業が行われる。物体認識装置２２は、固形糊９４がピックアップ作業することができないと判断した場合、他の固形糊９４に対してピックアップ作業ができるか再び判断する。
【００７３】
（実施例８）
実施の形態に係る物体認識ロボットシステムを用いて円柱状の対象ワーク（例えば、ベアリング）の点群データにおいて円形が見えている場合でのピッキング制御について説明する。円柱状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として吸着ハンドを採用する。
【００７４】
まず、ロボットコントローラ３０は、ロボット１０がピッキングするワーク（ベアリング）９５ａについての計測指令を物体認識装置２２に送信する。
【００７５】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているベアリング９５ａを計測するように３Ｄセンサ２０を制御して、点群データを取得する。このとき、点群データは、円形が見られる。
【００７６】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ベアリング９５ａの位置情報及び法線情報を算出する。作業対象がベアリングである場合、図１２（ａ）に示すように、位置情報として、ベアリング９５ａの円の中心点Ｐを算出し、法線情報として、ベアリング９５ａの上面Ｓの法線Ｖを算出する。算出された中心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００７７】
ロボットコントローラ３０は、物体認識装置２２で算出された中心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてベアリング９５ａのピッキング作業が行えるワークであるか判断する。判断の具体的な内容としては、中心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向でピッキング体制を取ることができるかを判断する。
【００７８】
ロボットコントローラ３０は、ベアリング９５ａがピッキング作業することができると判断した場合、ベアリング９５ａに対してピッキング作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってベアリング９５ａのピッキング作業が行われる。物体認識装置２２は、ベアリング９５ａがピックアップ作業することができないと判断した場合、他のベアリング９５ａに対してピックアップ作業ができるか再び判断する。
【００７９】
（実施例９）
実施の形態に係る物体認識ロボットシステムを用いて円柱状の対象ワーク（例えば、ベアリング）の点群データにおいて線形が見えている場合でのピッキング制御について説明する。円柱状の対象ワークを作業対象とする場合には、エンドエフェクタ１５として吸着ハンドを採用する。
【００８０】
まず、ロボットコントローラ３０は、ロボット１０がピックアップするワーク（ベアリング）９５ｂについての計測指令を物体認識装置２２に送信する。
【００８１】
次に、物体認識装置２２は、計測指令に基づいて、計測指令の対象となっているベアリング９５ｂを計測するように３Ｄセンサ２０を制御して、点群データを取得する。このとき、点群データは、線形が見られる。
【００８２】
次に、物体認識装置２２は、３Ｄセンサ２０で得られた点群データより、ベアリング９５ｂの位置情報及び法線情報を算出する。作業対象がベアリングである場合、図１２（ｂ）に示すように、位置情報として、ベアリング９５ｂの（面積上）重心点Ｐを算出し、法線情報として、鉛直方向に最も近い（内積が大きい）法線Ｖを算出を算出する。算出された重心点Ｐ及び法線Ｖは、ロボットコントローラ３０へと出力される。
【００８３】
ロボットコントローラ３０は、物体認識装置２２で算出された重心点Ｐ及び法線Ｖを参照して、エンドエフェクタ１５にてベアリング９５ｂのピックアップ作業が行えるワークであるか判断する。判断の具体的な内容としては、重心点Ｐに向かってエンドエフェクタ１５が法線Ｖ方向でピックアップ体制を取ることができるかを判断する。
【００８４】
ロボットコントローラ３０は、ベアリング９５ｂがピックアップ作業することができると判断した場合、ベアリング９５ｂに対してピックアップ作業するためのロボット１０の動作を制御するロボット制御信号、及びエンドエフェクタ１５のエンドエフェクタ制御信号を生成する。そして、ロボット１０及びエンドエフェクタ１５によってベアリング９５ｂのピックアップ作業が行われる。物体認識装置２２は、ベアリング９５ｂがピックアップ作業することができないと判断した場合、他のベアリング９５ｂに対してピックアップ作業ができるか再び判断する。
【００８５】
以上、実施の形態及び実施例１〜９で説明したように、本発明の実施の形態に係る物体認識ロボットシステムによれば、３Ｄレーザ計測技術で得られた測定データによるモデルマッチングを行わずに、位置情報及び法線情報等の作業対象ワーク毎に必要なデータを抽出し、それらのデータを用いて物体認識を行うことでロボットがワークに対して作業を行うことができる。
【００８６】
また、本発明の実施の形態に係る物体認識ロボットシステムによれば、Ｏリングや袋に入った原料などの形状が一定ではない認識対象物に対しても、モデルマッチングを行わずに、位置情報及び法線情報等の必要なデータを抽出し、物体認識を行うことでロボットがワークに対して作業を行うことができる。
【００８７】
また、本発明の実施の形態に係る物体認識ロボットシステムによれば、ピックアップ等を行う作業対象ワークが作業者等によって決められた場合、作業対象ワーク毎に必要なデータは、実施例１〜９で示したように、対象ワーク毎に決まっているので、最低限のデータを計測できれば、物体認識を行うことでロボットがワークに対して作業を行うことができる。
【００８８】
（その他の実施の形態）
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす記述及び図面はこの発明を限定するものであると理解するべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかになるはずである。
【００８９】
例えば、実施例において、物体認識装置２２は、エンドエフェクタ１５がワークのピッキング動作等の作業を行っているときに、エンドエフェクタ１５がワークに対して衝突するか否かの衝突判定を行い、エンドエフェクタ１５とワーク等の衝突をなるべく回避する制御を行っているが、不測の事態によってエンドエフェクタ１５とワーク等に衝突してしまうことがある。この様な衝突が起こってしまった場合には、エンドエフェクタ１５がダメージを受けて破損してしまうことがある。そこで、エンドエフェクタ１５は、図１３に示すように、バネ等の弾性部材１６を備えることで、エンドエフェクタ１５の先端でワークのピッキング動作等の作業を行う作業部１５ａ，１５ｂが衝突した場合に、弾性部材１６で衝撃を吸収し、作業部１５ａ，１５ｂの破損を防ぐことをできるようになる。
【００９０】
また、実施例において、エンドエフェクタ１５の先端でワークのピッキング動作等の作業を行う作業部１５ａ，１５ｂについて特に説明していないが、作業部１５ａ，１５ｂは対象のワークの形状や大きさに合わせて種々の形状のものを使用することができる。例えば、作業部１５ａ，１５ｂのワークを把持する箇所に凹部を設けることで、図１４（ａ）に示すように、ナット９１の対向する角部を容易に把持することができるようになる。また、作業部１５ａ，１５ｂのワークを把持する箇所に凹部を設けても、図１４（ｂ）に示すように、ナット９１の対向する平面部を把持することも可能であるし、図１４（ｃ）に示すように、ボルト９０を把持することも可能である。
【００９１】
また、対象のワークの重量が軽い場合等で、作業部１５ａ，１５ｂにかかる負荷が小さい場合には、作業部１５ａ，１５ｂは、図１５（ａ）〜（ｄ）に示すように、微細化することが可能である。微細化した作業部１５ａ，１５ｂは、図１５（ａ）〜（ｃ）に示すように、図１４（ａ）〜（ｃ）と同様に凹部を設けることで同等の効果を得ることができる。更に、作業部１５ａ，１５ｂは、微細化することによって、図１５（ｄ）に示すように、ナット９１の内径側に侵入しやすくなり、内径把持が容易にできるようになる。
【００９２】
また、作業部１５ａ，１５ｂは、図１６（ａ）〜（ｃ）に示すように、ワークを把持する箇所にゴム材等の緩衝部材１７を設けることでワークを容易に把持することができる。緩衝部材１７の表面には、凹凸を形成して表面積を増やすことで、滑り止め効果も得られる。緩衝部材１７が設けられた作業部１５ａ，１５ｂは、図１６（ａ）に示すように、緩衝部材１７が変形することで、ナット９１の対向する角部を容易に把持することができるようになる。また、緩衝部材１７が設けられた作業部１５ａ，１５ｂは、図１６（ｂ）に示すように、ナット９１の対向する平面部を把持することも可能である。
【００９３】
また、実施例において、重心点、中心点、高所点等に向かってエンドエフェクタ１５が作業を行えるか判断して、作業が行えないと判断された場合は、他の作業対象ワークで作業が行えるか判断すると記載したが、同じワークであって重心点、中心点、高所点等をずらした箇所で作業が行えるか判断することも可能である。
【００９４】
また、実施例３において、ナット９１ｂに対して外径把持作業を行う場合について記載したが、内径側と外径側を把持するような場合であっても構わない。この場合では、エンドエフェクタ１５のＬ１〜Ｌ３で規定される範囲に障害となるものがなく、エンドエフェクタ１５がナット９１ｂの内径側に侵入することができる状態でなければならない。
【００９５】
また、実施の形態において、ロボット１０は、図１に示したように、６自由度である軸数が６軸の多関節ロボットであると示したが、ロボット１０の軸数は、６軸に限られず、４軸、５軸であっても構わない。ただし、ロボット１０は、軸数が多いほど汎用性が高くなるので、軸数が多い方が好ましい。
【００９６】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【符号の説明】
【００９７】
１０…ロボット
１１…基台
１２ａ…第１アーム部
１２ｂ…第２アーム部
１２ｃ…第３アーム部
１２ｄ…第４アーム部
１３ａ…Ａ１軸
１３ｂ…Ａ２軸
１３ｃ…Ａ３軸
１３ｄ…Ａ４軸
１３ｅ…Ａ５軸
１３ｆ…Ａ６軸
１４…フランジ部
１５…エンドエフェクタ
１５ａ，１５ｂ…作業部
１６…弾性部材
１７…緩衝部材
２０…３Ｄセンサ
２２…物体認識装置
３０…ロボットコントローラ
４０…エンドエフェクタコントローラ
５０…部品トレイ
６０…ワーク供給台
７０ａ，７０ｂ，７０ｃ，７０ｄ…ワーク
８０ａ，８０ｂ，８０ｃ，８０ｄ…点群データ
９０…ボルト
９１ａ，９１ｂ…ナット
９２…ワッシャー
９３…Ｏリング
９４…固形糊
９５ａ，９５ｂ…ベアリング
【図１】
2011167815.tif 000003
【図２】
2011167815.tif 000004
【図３】
2011167815.tif 000005
【図４】
2011167815.tif 000006
【図５】
2011167815.tif 000007
【図６】
2011167815.tif 000008
【図７】
2011167815.tif 000009
【図８】
2011167815.tif 000010
【図９】
2011167815.tif 000011
【図１０】
2011167815.tif 000012
【図１１】
2011167815.tif 000013
【図１２】
2011167815.tif 000014
【図１３】
2011167815.tif 000015
【図１４】
2011167815.tif 000016
【図１５】
2011167815.tif 000017
【図１６】
2011167815.tif 000018