(57)【要約】【課題】バラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることができるピックアップ装置を提案する。【解決手段】本発明のピックアップ装置は、取り出し部Ｓ１の略全域を撮像可能な第一撮像部４と、ハンドリング部３に設けられる第二撮像部５とを備え、第一撮像部４から得られる第一画像Ｇ１からワークＷＡの概略位置情報及び概略姿勢情報を算出する第一位置姿勢算出手段２０と、概略位置情報及び概略姿勢情報に基づいてロボットアーム２及び／又はハンドリング部３を駆動させて第二撮像部５をワークに正対させるように近づける駆動手段１５と、第二撮像部５から得られる第二画像Ｇ２からワークＷＡの詳細位置情報及び詳細姿勢情報を算出する第二位置姿勢算出手段２３とを備える。【選択図】図１
2017124450.tif 000002
【特許請求の範囲】
【請求項１】
取り出し部にバラ積みされたワークの画像を取得する撮像部と、ロボットアーム及び該ロボットアームに設けたハンドリング部を、該ワークを取り出すとともに整列部に並べるように該ワークの画像に基づいて駆動させる制御部とを備えるピックアップ装置であって、
前記撮像部は、前記取り出し部の略全域を撮像可能な第一撮像部と、前記ハンドリング部に設けられる第二撮像部とを備え、
前記制御部は、前記第一撮像部から得られる前記ワークを含む第一画像から該ワークの概略位置情報及び概略姿勢情報を算出する第一位置姿勢算出手段と、該概略位置情報及び該概略姿勢情報に基づいて前記ロボットアーム及び／又は前記ハンドリング部を駆動させて前記第二撮像部を該ワークに正対させるように近づける駆動手段と、該第二撮像部から得られる第二画像から該ワークの詳細位置情報及び詳細姿勢情報を算出する第二位置姿勢算出手段とを備え、
更に前記駆動手段は、該詳細位置情報及び該詳細姿勢情報に基づいて該ワークを該取り出し部から取り出して前記整列部に並べるように該ロボットアーム及び／又は該ハンドリング部を駆動するピックアップ装置。
【請求項２】
前記制御部は、前記ワークのマッチングモデルを複数記憶した記憶手段と、該マッチングモデルと前記第一画像とのマッチングを行って該第一画像中に該マッチングモデルに基づくワーク領域を特定する第一マッチング手段とを備え、
該第一マッチング手段は、該記憶手段に記憶した該マッチングモデルのうち、ワークの面積が大きいマッチングモデルから順にマッチングを行う請求項１に記載のピックアップ装置。
【請求項３】
前記第一マッチング手段は、一のマッチングモデルによってマッチングを行って前記第一画像中に該一のマッチングモデルに基づくワーク領域が特定されている場合は、このワーク領域以外の部分に対して他のマッチングモデルとのマッチングを行う請求項２に記載のピックアップ装置。
【請求項４】
前記制御部は、前記取り出し部における二以上の前記ワークのそれぞれに対して、前記ワーク領域におけるマッチングスコア、最大高さ、平均高さ、中央値高さ、重なり有無スコア、重なり面積比率の少なくとも１つを変数として含む評価関数を算出し、且つ該評価関数の値順に優先度を与え、更に該優先度が最も高い取り出し対象ワークに対して前記第二撮像部が近づくように前記駆動手段に指令を与える優先度設定手段を備える請求項２又は３に記載のピックアップ装置。
【請求項５】
前記制御部は、前記取り出し対象ワークを含む前記第二画像と前記マッチングモデルとのマッチングを行って、該第二画像中に取り出し対象ワーク領域と他のワーク領域とを特定する第二マッチング手段と、該取り出し対象ワーク領域に対して該他のワーク領域が重なる部位を特定するとともに、この重なる部位に応じて前記ハンドリング部で該取り出し対象ワークを保持する位置を変更するように前記駆動手段に指令を与えるピックアップ選択手段とを備える請求項４に記載のピックアップ装置。
【請求項６】
前記第一撮像部及び／又は前記第二撮像部は、前記第一画像及び／又は前記第二画像として、二次元画像と、高さ情報を含む二次元画像である三次元画像とを取得するものであり、前記マッチングモデルは前記ワークの三次元データと二次元画像とを紐付けしたものであり、前記制御部は、更に高さ補正手段を有するものであって、
前記第一マッチング手段及び／又は前記第二マッチング手段は、該マッチングモデルと二次元画像の該第一画像及び／又は該第二画像とのマッチングを行って前記ワーク領域を特定するとともに該マッチングモデルの三次元データから得られる高さ情報を取得し、
前記高さ補正手段は、該マッチングモデルと三次元画像の該第一画像及び／又は該第二画像とのマッチングを行うとともに、このマッチングから得られる高さ情報を用いて該マッチングモデルの三次元データから得られる高さ情報を補正する請求項５に記載のピックアップ装置。
【請求項７】
前記取り出し部は、バラ積みされた前記ワークを収容するトレイを載置可能であって、
前記制御部は、前記第一画像から該トレイ及び該ワークのエッジを抽出し、該トレイの内部を複数のエリアに区画するとともに、それぞれのエリアにおいて該ワークのエッジ有無スコアを算出し、更に該トレイの奥側に位置する奥側エリア群、手前側に位置する手前側エリア群、右側に位置する右側エリア群、左側に位置する左側エリア群毎に該エッジ有無スコアの合計を算出して、最も合計スコアの大きいエリア群とこのエリア群に対向するエリア群との間で該トレイを振動させるように前記駆動手段に指令を与える片寄り補正手段を備える請求項１〜６の何れか一項に記載のピックアップ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多品種のバラ積みされたワークを一つずつ取り出して所定の場所に整列させることが可能なピックアップ装置に関するものである。
【背景技術】
【０００２】
バラ積みされたワークを一つずつ取り出すことが可能な装置としては、例えば特許文献１に示されるような装置が知られている。この装置では、ロボットアームの先端にハンドと三次元視覚センサとを設けていて、三次元視覚センサで得られるワークの画像データに基づいてロボットアームとハンドとを動かすことにより、ワークの取り出しができるとしている。
【０００３】
また、ロボットアームの先端にハンドを設ける一方、ロボットアームとは分離させてバラ積みされたワークの上方に三次元撮像装置を設置した装置も知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２３０５１３号公報
【特許文献２】特開２０１５−２１３９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の装置では、一旦ロボットアームを駆動させ、三次元視覚センサをワークの一つに近づけなければワークの状況が確認できないものである。すなわち、三次元視覚センサで認識したワークが他のワークが邪魔になって取り出しが行えない場合は、更にロボットアームを駆動させて別のワークを認識させなければならないため、ワークの取り出しに時間を要することがあった。これに対して特許文献２に記載の装置では、ワークの上方に設置した三次元撮像装置によってバラ積みされたワーク全体を認識することができるため、取り出し可能なワークを選択してロボットアームを駆動することが可能である。しかし、このような三次元撮像装置ではワークの認識精度が劣るため、ワークの位置や姿勢を誤認識してしまうおそれがあった。特に、多品種のワークが混在してバラ積みされた状態では、誤認識が高い頻度で生じるおそれがあった。
【０００６】
本発明はこのような問題点を解決することを課題とするものであり、多品種のバラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることができるピックアップ装置を提案することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、取り出し部にバラ積みされたワークの画像を取得する撮像部と、ロボットアーム及び該ロボットアームに設けたハンドリング部を、該ワークを取り出すとともに整列部に並べるように該ワークの画像に基づいて駆動させる制御部とを備えるピックアップ装置であって、前記撮像部は、前記取り出し部の略全域を撮像可能な第一撮像部と、前記ハンドリング部に設けられる第二撮像部とを備え、前記制御部は、前記第一撮像部から得られる前記ワークを含む第一画像から該ワークの概略位置情報及び概略姿勢情報を算出する第一位置姿勢算出手段と、該概略位置情報及び該概略姿勢情報に基づいて前記ロボットアーム及び／又は前記ハンドリング部を駆動させて前記第二撮像部を該ワークに正対させるように近づける駆動手段と、該第二撮像部から得られる第二画像から該ワークの詳細位置情報及び詳細姿勢情報を算出する第二位置姿勢算出手段とを備え、更に前記駆動手段は、該詳細位置情報及び該詳細姿勢情報に基づいて該ワークを該取り出し部から取り出して前記整列部に並べるように該ロボットアーム及び／又は該ハンドリング部を駆動するピックアップ装置である。
【０００８】
前記制御部は、前記ワークのマッチングモデルを複数記憶した記憶手段と、該マッチングモデルと前記第一画像とのマッチングを行って該第一画像中に該マッチングモデルに基づくワーク領域を特定する第一マッチング手段とを備え、該第一マッチング手段は、該記憶手段に記憶した該マッチングモデルのうち、ワークの面積が大きいマッチングモデルから順にマッチングを行うことが好ましい。
【０００９】
前記第一マッチング手段は、一のマッチングモデルによってマッチングを行って前記第一画像中に該一のマッチングモデルに基づくワーク領域が特定されている場合は、このワーク領域以外の部分に対して他のマッチングモデルとのマッチングを行うことが好ましい。
【００１０】
前記制御部は、前記取り出し部における二以上の前記ワークのそれぞれに対して、前記ワーク領域におけるマッチングスコア、最大高さ、平均高さ、中央値高さ、重なり有無スコア、重なり面積比率の少なくとも１つを変数として含む評価関数を算出し、且つ該評価関数の値順に優先度を与え、更に該優先度が最も高い取り出し対象ワークに対して前記第二撮像部が近づくように前記駆動手段に指令を与える優先度設定手段を備えることが好ましい。
【００１１】
前記制御部は、前記取り出し対象ワークを含む前記第二画像と前記マッチングモデルとのマッチングを行って、該第二画像中に取り出し対象ワーク領域と他のワーク領域とを特定する第二マッチング手段と、該取り出し対象ワーク領域に対して該他のワーク領域が重なる部位を特定するとともに、この重なる部位に応じて前記ハンドリング部で該取り出し対象ワークを保持する位置を変更するように前記駆動手段に指令を与えるピックアップ選択手段とを備えることが好ましい。
【００１２】
前記第一撮像部及び／又は前記第二撮像部は、前記第一画像及び／又は前記第二画像として、二次元画像と、高さ情報を含む二次元画像である三次元画像とを取得するものであり、前記マッチングモデルは前記ワークの三次元データと二次元画像とを紐付けしたものであり、前記制御部は、更に高さ補正手段を有するものであって、前記第一マッチング手段及び／又は前記第二マッチング手段は、該マッチングモデルと二次元画像の該第一画像及び／又は該第二画像とのマッチングを行って前記ワーク領域を特定するとともに該マッチングモデルの三次元データから得られる高さ情報を取得し、前記高さ補正手段は、該マッチングモデルと三次元画像の該第一画像及び／又は該第二画像とのマッチングを行うとともに、このマッチングから得られる高さ情報を用いて該マッチングモデルの三次元データから得られる高さ情報を補正することが好ましい。
【００１３】
前記取り出し部は、バラ積みされた前記ワークを収容するトレイを載置可能であって、前記制御部は、前記第一画像から該トレイ及び該ワークのエッジを抽出し、該トレイの内部を複数のエリアに区画するとともに、それぞれのエリアにおいて該ワークのエッジ有無スコアを算出し、更に該トレイの奥側に位置する奥側エリア群、手前側に位置する手前側エリア群、右側に位置する右側エリア群、左側に位置する左側エリア群毎に該エッジ有無スコアの合計を算出して、最も合計スコアの大きいエリア群とこのエリア群に対向するエリア群との間で該トレイを振動させるように前記駆動手段に指令を与える片寄り補正手段を備えることが好ましい。
【発明の効果】
【００１４】
本発明のピックアップ装置は、ワークの画像を取得する撮像部として、バラ積みされたワークが載置される取り出し部の略全体を撮像可能な第一撮像部と、ハンドリング部に設けられる第二撮像部とを備えるものである。そして、第一撮像部から得られる第一画像からワークの概略位置情報及び概略姿勢情報を第一位置姿勢算出手段によって算出し、この概略位置情報及び概略姿勢情報に基づいて、ロボットアーム及び／又はハンドリング部を駆動手段によって駆動させて第二撮像部がワークに正対するように近づける。そして、第二撮像部から得られる第二画像から、第二位置姿勢算出手段によってワークの詳細位置情報及び詳細姿勢情報を取得することができる。すなわち、第一撮像部によって取り出し可能なワークを選択することができるうえ、ワークに正対するように近づけた第二撮像部によってワークの詳細な位置や姿勢を取得することができるので、バラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることが可能になる。また、ワークの形状等も正確に把握することができるので、多品種のワークが混在していても、意図したものを正確に取り出すことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に従うピックアップ装置の一実施形態を示す斜視図である。
【図２】図２（ａ）は図１に示すハンドリング部を拡大して示す斜視図であり、図２（ｂ）はその底面図である。
【図３】図１に示すピックアップ装置の構成を示すブロック図である。
【図４】片寄り補正手段によるエッジ有無スコアの付与方法を説明する図であって、図４（ａ）はトレイの内部を複数のエリアに分割した状態を示す図であり、図４（ｂ）はワークがトレイ内で片寄っている状態を示す図である。
【図５】第一位置姿勢算出手段による概略位置情報及び概略姿勢情報の算出方法を説明する図である。
【図６】ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図６（ａ）はワーク（鋏）の概略図であり、図６（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。
【図７】ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図７（ａ）はワーク（鉗子）の概略図であり、図７（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。
【図８】ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図８（ａ）はワーク（ピンセット（横向き））の概略図であり、図８（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。
【図９】ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図９（ａ）はワーク（ピンセット（縦向き））の概略図であり、図９（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。
【図１０】トレイＴ内に種々のワークがバラ積みされている状態を示す図である。
【発明を実施するための形態】
【００１６】
図１を参照しつつ、本発明に従うピックアップ装置の一実施形態について説明する。図中、符号１は本発明に従うピックアップ装置の一実施形態を示す。ピックアップ装置１は、ワークＷＡ（図１では鋏）がバラ積み状態で載置される取り出し部Ｓ１と、取り出し部Ｓ１から取り出されたワークＷＡを開いた状態で並べて載置する整列部Ｓ２とを備えていて、更に取り出し部Ｓ１と整列部Ｓ２の間には、取り出し部Ｓ１から取り出したワークＷＡを一旦載置する仮置き部Ｓ３と、閉じた状態のワークＷＡを開いた状態にする鋏開き部Ｓ４が設けられている。なお、取り出し部Ｓ１と整列部Ｓ２にはトレイＴが載置され、ワークＷＡはトレイＴ内に載置される。
【００１７】
またピックアップ装置１は、ワークＷＡを取り出し部Ｓ１から取り出して整列部Ｓ２に並べるものとして、ロボットアーム２とハンドリング部３とを備えている。本実施形態のロボットアーム２は、多関節ロボットのアームであるが、例えばパラレルリンクロボットのアーム（リンク機構）であってもよい。なお、ハンドリング部３の詳細な構成については後述する。
【００１８】
更にピックアップ装置１は、ワークＷＡの画像を取得する撮像部として、取り出し部Ｓ１の上方に設けられる第一撮像部４と、ハンドリング部３に設けられる第二撮像部５（図２（ｂ）参照）とを備えている。第一撮像部４は、取り出し部Ｓ１の略全域を撮像可能であって、取り出し部Ｓ１に載置されたトレイＴ及びバラ積みされたワークＷＡの平面での配置を示す二次元画像と、二次元画像に高さの情報を含めた三次元画像とを取得することが可能である。また第二撮像部５は、第一撮像部４よりも狭い領域を撮像するものであって、ロボットアーム２を移動させることによって任意のワークＷＡに対する二次元画像と三次元画像を取得することが可能である。なお以下、第一撮像部４によって得られる画像を「第一画像Ｇ１」と称し、第二撮像部５によって得られる画像を「第二画像Ｇ２」と称する。また本実施形態の三次元画像は、第一撮像部４や第二撮像部５から撮像対象までの距離に応じて濃淡値が変化する高さ画像（距離画像）である。
【００１９】
次に、図２（ａ）、（ｂ）を参照しながら、第二撮像部５が設けられるハンドリング部３の詳細な構成について説明する。
【００２０】
ハンドリング部３は、板状になる保持部６を備えていて、その上面に第二撮像部５（本実施形態では１台のカメラ）を保持している。第二撮像部５の外側には、一対のプロジェクター７が設けられている。保持部６の中央部には開口部８が設けられていて、第二撮像部５及びプロジェクター７は、この開口部８を通してワークＷＡの画像を取得することができる。本実施形態では、２つのプロジェクター７から種々のパターンでワークＷＡに光を照射し、第二撮像部５では、ワークＷＡからの反射光を捉えるとともに所定の画像処理を行って三次元画像を生成している。なお、三次元画像を生成するにあたっては、上述した構成の他、例えば２つのカメラを用いて三角測量の原理で計測を行う等、種々の構成を用いることができる。また保持部６の上面には、ロボットアーム２に保持される部位として、第二撮像部５及びプロジェクター７を取り囲むような門型形状の装着部９を備えている。
【００２１】
保持部６の下面には、ワークＷＡを保持する４本のフィンガー（第一フィンガー１０〜第四フィンガー１３）が設けられている。また第一フィンガー１０〜第四フィンガー１３の先端には、これらのフィンガーの軸線方向に対して直交する向きに延在する爪部１０ａ〜１３ａが設けられている。本実施形態の爪部１０ａ〜１３ａは、各フィンガーの軸線を挟んで両側に延在するように設けられている。なお図示は省略するが、第一フィンガー１０〜第四フィンガー１３は上下に二分割されるともに、その下部分は上部分に対して下向きの付勢力を持ちつつ上下動可能に設けられている。すなわち、第一フィンガー１０〜第四フィンガー１３がワークＷＡに対して上方から押し当たることがあっても、第一フィンガー１０〜第四フィンガー１３の下部分を上方に逃がすことができる。
【００２２】
第一フィンガー１０〜第四フィンガー１３は、図２（ａ）、（ｂ）に示す矢印Ｘ、Ｙに沿って移動可能に設けられている。本実施形態では、第一フィンガー１０、第二フィンガー１１をともにＸ方向に移動させるＸ方向第一駆動部と、第三フィンガー１２、第四フィンガー１３をともにＸ方向に移動させるＸ方向第二駆動部と、第一フィンガー１０、第二フィンガー１１をそれぞれＹ方向に移動させるＹ方向第一、第二駆動部と、第三フィンガー１２、第四フィンガー１３をそれぞれＹ方向に移動させるＹ方向第三、第四駆動部とから構成されている。なお、Ｘ方向第一駆動部等は、直線状に延在する固定子と固定子に対してスライド可能に設けられた可動子とからなるリニアモータを、複数組み合わせて構成したものである。
【００２３】
更にピックアップ装置１は、図３に示す制御部１４を備えている。制御部１４は、第一撮像部４と第二撮像部５から得られる第一画像Ｇ１と第二画像Ｇ２に基づいて、ロボットアーム２とハンドリング部３とを駆動させ、取り出し部Ｓ１からワークＷＡを取り出して整列部Ｓ２に並べるように機能するものである。本実施形態の制御部１４は、ロボットアーム２とハンドリング部３とを駆動させる駆動手段１５を備えている。更に制御部１４は、片寄り補正手段１６と、記憶手段１７と、第一マッチング手段１８と、優先度設定手段１９と、第一位置姿勢算出手段２０と、第二マッチング手段２１と、ピックアップ選択手段２２と、第二位置姿勢算出手段２３と、高さ補正手段２４とを備えている。
【００２４】
次に、このような構成になるピックアップ装置１によって、取り出し部Ｓ１に載置されたワークＷＡを取り出して整列部Ｓ２に並べる方法について説明する。
【００２５】
取り出し部Ｓ１に載置されたワークＷＡを取り出すにあたり、ワークＷＡがトレイＴの端に偏って載置されていると、トレイＴの縁が邪魔になってハンドリング部３で取り出すことができないおそれがある。このため本実施形態のピックアップ装置１では、ワークＷＡがトレイＴ内に偏って載置されている場合には、片寄り補正手段１６の作用によってトレイＴを振動させて、ワークＷＡをトレイＴの中央付近に寄せるようにしている。
【００２６】
まずピックアップ装置１は、取り出し部Ｓ１に載置されたトレイＴとバラ積みされたワークＷＡを第一撮像部４で撮像して第一画像Ｇ１を取得する。なお、本実施形態では三次元画像（高さ画像）を取得しているが、ワークの形状等によっては二次元画像を取得しても、或いは両方を取得してもよい。
【００２７】
次に片寄り補正手段１６によって、第一画像Ｇ１におけるトレイＴとワークＷＡのエッジを抽出する。本実施形態の片寄り補正手段１６では、第一画像Ｇ１として三次元画像を使用している。そしてトレイＴのエッジを抽出した後は、図４（ａ）に示すように、トレイＴの内部を複数のエリアに分割する（本実施形態ではエリアＥ１〜Ｅ２５の合計２５個）。更に、エリアＥ１〜Ｅ２５のそれぞれにおいて、ワークＷＡのエッジ有無スコアを算出する。ここでエッジ有無スコアとは、例えばエリアＥ１内にワークＷＡのエッジがある場合はエリアＥ１に１点付与し、エッジが無い場合は点数付けしない（０点）とするものである。そしてこれらのエリアＥ１〜Ｅ２５を、トレイＴの奥側に位置する奥側エリア群、手前側に位置する手前側エリア群、右側に位置する右側エリア群、左側に位置する左側エリア群の４つに振りわけて、それぞれのエリア群毎にエッジ有無スコアの合計を算出する。本実施形態では、Ｅ１〜Ｅ５、Ｅ７〜Ｅ９を奥側エリア群とし、Ｅ１７〜１９、Ｅ２１〜Ｅ２５を手前側エリア群とし、Ｅ１、Ｅ６、Ｅ１１、Ｅ１６、Ｅ２１、Ｅ７、Ｅ１２、Ｅ１７を左側エリア群とし、Ｅ９、Ｅ１４、Ｅ１９、Ｅ５、Ｅ１０、Ｅ１５、Ｅ２０、Ｅ２５を右側エリア群としている。
【００２８】
例えば図４（ｂ）のようにワークＷＡがトレイＴの手前側に片寄っている場合は、手前側エリア群の合計スコアが最も大きくなる。この場合、片寄り補正手段１６は駆動手段１５に指令を与え、ハンドリング部３でトレイＴの縁を掴み、更にロボットアーム２を手前側と奥側とを往復させるように動かしてトレイＴに振動を与える。これにより手前側に片寄っていたワークＷＡをトレイＴの中央付近に移動させることができる。なお、エッジ有無スコアの点数に応じて振動状態（振幅や周期等）を変えても良い。またトレイＴに振動を与える際には、ハンドリング部３でトレイＴの手前側の縁を若干持ち上げてトレイＴが傾いた状態で行うことが好ましい。また、図示は省略するが、取り出し部Ｓ１自体を、手前側と奥側或いは左右両側に動く可動ステージ（振動ステージ）として構成してもよい。
【００２９】
なお本実施形態では、各エリアＥ１〜Ｅ２５のエッジ有無スコアを算出するにあたって、第一画像Ｇ１から得られる高さ情報に基づいて、トレイＴの上面により近いエッジにはより高い点数を更に付与するようにしている。高さ情報に基づく点数付けがなくてもワークＷＡの片寄りを把握することは可能であるが、このような高さ情報に基づく点数付けを行う事で、ワークＷＡのエッジを誤認識することがあっても、合計スコアに及ぼす影響が少なくなるという利点がある。
【００３０】
またトレイＴ内にワークＷＡが入っていない場合は、エリアＥ１〜Ｅ２５の全てでエッジ有無スコアが０点になるので、片寄り補正手段１６をワークＷＡの有無確認手段として使用することが可能である。
【００３１】
ワークＷＡの片寄りを補正した後は、取得した第一画像Ｇ１に対してワークＷＡの領域を特定する。本実施形態では、第一マッチング手段１８によって、予め記憶手段１７に記憶した複数のマッチングモデルと第一画像Ｇ１とのマッチングを行ってワークＷＡの領域を特定する。
【００３２】
ここでマッチングモデルとは、ワークＷＡの姿勢に応じた二次元画像であるが、例えばワークＷＡの三次元ＣＡＤデータがある場合には、その三次元情報を二次元画像に紐付けしたものをマッチングモデルとしてもよい。複数種類のワークを取り出す場合には、その種類に応じたマッチングモデルを記憶させておくものとする。また第一マッチング手段１８によるマッチングは、ワークの形状に応じて種々の手法で行うことが可能であって、例えば３Ｄ−ＣＡＤマッチングや透視歪みマッチング、サーフェスマッチングなどで行うことができる。ワークＷＡは比較的厚みが薄いため、本実施形態では第一画像Ｇ１として三次元画像を使用して、透視歪みマッチングによってワークＷＡの領域を特定している。
【００３３】
第一画像Ｇ１に対してワークＷＡの領域を特定した後は、マッチングによって特定した領域に基づいて、取り出し部Ｓ１のワークＷＡを取り出す順番を決める優先度を定める。本実施形態では、優先度設定手段１９によって、特定したワークＷＡの領域におけるマッチングスコア、最大高さ、平均高さ、中央値高さ、重なり有無スコア、重なり面積比率の少なくとも１つを変数として含む評価関数を算出し、評価関数の値順に優先度を定めている。本実施形態では、下記の式で評価関数を算出している。
評価関数＝ａ＊マッチングスコア＋ｂ＊最大高さ＋ｃ＊平均高さ＋ｄ＊中央値高さ＋ｅ＊重なり有無スコア＋ｆ＊重なり面積比率
（ａ〜ｆは重み付け値であり、種々の条件に応じて適切な値が選択される）
【００３４】
ここでマッチングスコアとは、第一マッチング手段１８によってマッチングを行った際のマッチングモデルとの適合率を点数化したものであって、マッチングによって特定したワークＷＡの領域とマッチングモデルとの適合率が高いほど高い点数を与えている。また最大高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの最大値であり、平均高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの平均値であり、中央値高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの中央値であり、重なり有無スコアとは、マッチングによって特定したワークＷＡの領域が他のワークＷＡの領域と重なる場合は所定のスコアを付け、重なりが無い場合は重なる場合よりも低いスコアを付ける（或いはスコア無し）とするものであり、重なり面積比率とは、他のワークＷＡの領域と重なる部分の面積を、マッチングによって特定したワークＷＡの領域の面積で除した値である。
【００３５】
そして優先度設定手段１９は、取り出し部Ｓ１におけるワークＷＡに対応する、マッチングによって特定したワークＷＡの領域のそれぞれに対して、上述した評価関数の大きいものから順に優先度を与える。本実施形態では、より高い位置にあるワークＷＡの優先度が高くなり、また他のワークＷＡが上に重なるワークＷＡの優先度が低くなるように評価関数を設定している。なお、優先度が最も高いワークＷＡを「取り出し対象ワーク」と称する。
【００３６】
取り出し対象ワークが定まった後は、この取り出し対象ワークの位置と姿勢（傾き）を特定する。本実施形態では、第一位置姿勢算出手段２０によって、第一画像Ｇ１から取り出し対象ワークの位置情報（概略位置情報）と姿勢情報（概略姿勢情報）を算出する。例えば第一画像Ｇ１が三次元画像であって、取り出し対象ワークが図５に示すように示される場合、第一位置姿勢算出手段２０は、第一画像Ｇ１中のエッジ等をもとに３点の座標Ｐ１（ｘ１，ｙ１，ｚ１）、Ｐ２（ｘ２，ｙ２，ｚ２）、Ｐ３（ｘ３，ｙ３，ｚ３）を算出することによって概略位置情報を取得する。また、Ｐ１とＰ２の中点をＰｃ（ｘｃ，ｙｃ，ｚｃ）とする場合、Ｐ１Ｐ２ベクトルとＰ３Ｐｃベクトルの外積から３点の通る平面が算出できるため、これをもとに取り出し対象ワークの概略姿勢情報を得ることができる。
【００３７】
そして第一位置姿勢算出手段２０は、取り出し対象ワークの概略位置情報と概略姿勢情報に基づいて駆動手段１５に指令を与え、ロボットアーム２及びハンドリング部３を駆動させて第二撮像部５を取り出し対象ワークに正対させるように近づける。
【００３８】
その後は、第二撮像部５で取り出し対象ワークを撮像して第二画像Ｇ２を取得する。本実施形態の第二画像Ｇ２は、第一画像Ｇ１と同様に三次元画像であるが、ワークの形状等によっては二次元画像を取得しても、或いは両方を取得してもよい。
【００３９】
そして、第二画像Ｇ２を取得した後は、第二マッチング手段２１によって、記憶手段１７に記憶した複数のマッチングモデルと第二画像Ｇ２とのマッチングを行って取り出し対象ワークの領域を特定する。なお、取り出し対象ワークの周辺にある他のワークについてもその領域を特定しておく。
【００４０】
ここで、取り出し対象ワークをハンドリング部３で取り出すにあたっては、取り出し対象ワークに対してその周辺にある他のワークが重なる部位によっては、他のワークが邪魔をして保持することができないことがある。このため本実施形態では、ピックアップ選択手段２２よって、第二マッチング手段２１で得られた取り出し対象ワーク領域に対して他のワーク領域が重なる部位を特定するとともに、この重なる部位に応じてハンドリング部３で取り出し対象ワークを保持する位置を変更するように駆動手段１５に指令を与えている。更に本実施形態のピックアップ選択手段２２では、第一フィンガー１０〜第四フィンガー１３が他のワークと干渉する場合があることも考慮して駆動手段１５に指令を与えている。
【００４１】
具体的には、図６（ａ）に示すように取り出し対象ワークが鋏である場合、ピックアップ選択手段２２は、取り出し対象ワークのグリップ部、中央部、支点部、先端部のそれぞれの部位に対して、取り出し対象ワークと他のワークとの重なりと、第一フィンガー１０〜第四フィンガー１３と他のワークとの干渉を確認する。そして図６（ｂ）に示す組み合わせに応じて取り出し対象ワークを保持する位置を変更している。ここで図６（ｂ）中、４本ピックアップ（支点）とは、例えば第一フィンガー１０と第二フィンガー１１とをグリップ部の穴にそれぞれ挿入した後、互いに離れる向きに動かして爪部１０ａと爪部１１ａとがグリップ部に引っ掛かるようにして保持し、第三フィンガー１２と第四フィンガー１３は、支点部を両側から挟むように保持するものである。また４本ピックアップ（中央）とは、４本ピックアップ（支点）に対して支点部の代わりに中央部を両側から挟むようにしたものであり、４本ピックアップ（先端）とは、４本ピックアップ（支点）に対して支点部の代わりに先端部を両側から挟むようにしたものである。なお、図６（ｂ）に示す組み合わせ以外でも取り出し対象ワークをバラ積みのワークから取り出すことができる。例えば、図６（ａ）を参照しつつ説明すると、取り出し対象ワークの先端部に他のワークが重なっているものの、それ以外の部位は重なっておらず、また取り出し対象ワークのグリップ部の後方（グリップ部から見て中央部の反対側）に他のワークが存在していない状態であれば、第一フィンガー１０〜第四フィンガー１３でグリップ部を保持した後、取り出し対象ワークをグリップ部の後方へ移動させる（先端部を他のワークから引き抜く）ことによって、取り出すことができる。なお、図６（ｂ）に示すようにピックアップ不可の組み合わせになる場合は、優先度設定手段１９で定めた順に優先度が高い別のワークの取り出しを行うものとする。
【００４２】
なお、実際に第一フィンガー１０〜第四フィンガー１３で取り出し対象ワークを保持する動作を行うにあたっては、第二位置姿勢算出手段２３によって第二画像Ｇ２から取り出し対象ワークの詳細位置情報と詳細姿勢情報を算出しておくようにする。ここで、取り出し対象ワークの詳細位置情報と詳細姿勢情報の算出方法は、前述の第一位置姿勢算出手段２０と同様であるので説明を省略する。
【００４３】
そして、第一フィンガー１０〜第四フィンガー１３で保持された取り出し対象ワークは、第二位置姿勢算出手段２３の指令を受けて駆動手段１５で駆動されるロボットアーム２及びハンドリング部３によって取り出し部Ｓ１から取り出される。その後、取り出し対象ワークは仮置き部Ｓ３に一旦載置され、ハンドリング部３によって持ち直された後、僅かに開いた状態で鋏開き部Ｓ４に載置される。そして図１に示すように取り出し対象ワークを矢印の方向へ大きく開いた後（鋏の一方は、鋏開き部Ｓ４に設けた突起で保持されているので、鋏の他方のグリップ部に第一フィンガー１０〜第四フィンガー１３の何れか一つを差し込んで、ロボットアーム２を矢印の方向へ移動させる）、再度ハンドリング部３で保持して整列部Ｓ２へ移動させる。なお、上述した図６（ｂ）のうち、４本ピックアップ（支点）の保持位置であれば、取り出し部Ｓ１から取り出した直後から取り出し対象ワークを僅かに開くことができるため、仮置き部Ｓ３に載置することなく鋏開き部Ｓ４に載置することができる。
【００４４】
本実施形態によれば、閉じた状態のワークであっても開いた状態にして整列させることができるため、たとえば医療現場で使用したワークの洗浄、滅菌する場合に使用して好適である。
【００４５】
なお上述した取り出し方法は、取り出し対象ワークが鋏の時に用いられるが、他のものであっても、同様な手法で取り出すことができる。例えば取り出し対象ワークが図７（ａ）に示す鉗子である場合は、ピックアップ選択手段２２は、駆動手段１５に対して、図７（ｂ）に示す組み合わせに対応する位置で取り出し対象ワークを保持するように指令する。ここで、４本ピックアップ（通常）とは、例えば第一フィンガー１０と第二フィンガー１１とをグリップ部の穴にそれぞれ挿入した後、互いに離れる向きに動かして爪部１０ａと爪部１１ａとがグリップ部に引っ掛かるようにして保持し、第三フィンガー１２と第四フィンガー１３は、支点部を両側から挟むように保持するものである。また４本ピックアップ（中央）とは、４本ピックアップ（通常）に対して支点部の代わりに中央部を両側から挟むようにしたものであり、２本ピックアップ（先端退避）とは、４本ピックアップ（通常）に対してグリップ部の保持は同様にして他の２本は周囲に存在する他のワークにあたらない位置に配置したものであり、２本ピックアップ（デフォルト位置）とは、４本ピックアップ（通常）に対してグリップ部の保持は同様にして他の２本は支点部の側方へ配置したものである。なお、支点部の側方へ配置した他の２本については、他のワークと干渉することになるが、本実施形態の第一フィンガー１０〜第四フィンガー１３は、下部分が上下動可能であるので、この場合であっても取り出し対象ワークを保持することができる。なお、取り出しワークの先端部に他のワークが重なっている場合でも、先に説明した鋏の場合と同様に取り出し対象ワークをグリップ部の後方へ移動させることによって、取り出すことができる。
【００４６】
更に、対象ワークが図８（ａ）に示す向きのピンセット（水平方向に開閉する向き（横向き））である場合は、図８（ｂ）に示す組み合わせに対応する位置で保持することができる。ここで４本ピックアップとは、重心位置と保持部をそれぞれ２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（重心）とは、重心位置を２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（根元）とは、根元を２本のフィンガーで挟むようにして保持するものであり、上側２本ピックアップとは、二股に分かれたピンセットの奥側部分を２本のフィンガーで挟むように保持するものであり、下側２本ピックアップとは、二股に分かれたピンセットの手前側部分を２本のフィンガーで挟むように保持するものである。なお取り出し対象ワークがピンセットの場合は、取り出し対象ワークが鋏である場合に説明した如き鋏開き部Ｓ４を経由せずに整列部Ｓ２へ載置すればよい。
【００４７】
更に、対象ワークが図９（ａ）に示す向きのピンセット（上下方向に開閉する向き（縦向き））である場合は、図９（ｂ）に示す組み合わせに対応する位置で保持することができる。ここで４本ピックアップとは、中央部と先端部をそれぞれ２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（中央部）とは、中央部を２本のフィンガーで挟むようにして保持するものである。
【００４８】
次に、図１０を参照しながら他のワーク（例えばナットのような比較的厚みがあるものを含む）を用いる場合に本実施形態のピックアップ装置１で取り出す方法を説明する。
【００４９】
まず、トレイＴとバラ積みされたワークＷＢ、ＷＣ、ＷＤ、ＷＥを第一撮像部４で撮像して第一画像Ｇ１を取得する。本実施形態では二次元画像と三次元画像（高さ画像）の両方を取得している。
【００５０】
次に片寄り補正手段１６によって第一画像Ｇ１におけるトレイＴとワークＷＢ、ＷＣ、ＷＤ、ＷＥのエッジを抽出する。ここでは第一画像Ｇ１として三次元画像を使用していて、エッジ有無スコアを算出するにあたっては、ワークＷＡの場合と同様に高さ情報に基づく点数付けも併せて行っている。
【００５１】
ワークＷＢ、ＷＣ、ＷＤ、ＷＥの片寄りを補正した後は、第一マッチング手段１８によって記憶手段１７に記憶した複数のマッチングモデルと第一画像Ｇ１とのマッチングを行う。ここで本実施形態のマッチングモデルは、三次元ＣＡＤデータから得られた三次元情報を二次元画像に紐付けしたものである。また第一画像Ｇ１は、二次元画像を用いている。そして３Ｄ−ＣＡＤマッチングによって第一画像Ｇ１中にワークＷＢ、ＷＣ、ＷＤ、ＷＥの領域を特定する。
【００５２】
ここで、複数のマッチングモデルによってマッチングを行うにあたっては、より確実にマッチングができるように、ワークの面積が大きいマッチングモデルから順にマッチングを行うようにしている。また、他のマッチングモデルの要素を含むマッチングモデルがある場合（以下、他のマッチングモデルは「少要素マッチングモデル」と称し、他のマッチングモデルの要素を含むマッチングモデルは「多要素マッチングモデル」と称する）は、少要素マッチングモデルよりも多要素マッチングモデルから先にマッチングを行うようにしている。本実施形態では、六角ナットであるワークＷＥが少要素マッチングモデルであり、六角ナットとプレートの組み合わせであるワークＷＤが多要素マッチングモデルである。ここで、少要素マッチングモデルからマッチングを行うと、多要素マッチングモデルに含まれる要素に対してマッチングされてしまうおそれがあるが、多要素マッチングモデルから先にマッチングを行えば、このような不具合を防ぐことができる。なお、ワークの面積が大きいマッチングモデルと多要素マッチングモデルの何れを優先するかは適宜選択することができるが、本実施形態ではワークの面積が大きいマッチングモデルを優先させていて、図１０に示す例では、ワークＷＢ、ＷＣ、ＷＤ、ＷＥの順にマッチングさせている。なおマッチングを行う順は、他のマッチングモデルに含まれない要素を持つものから行うなど、マッチングしやすいものから順に行うことが好ましい。
【００５３】
なお、図示は省略するが、長さの異なるボルトや径の異なるボルトなどの類似品が含まれる場合は、マッチングによって特定したワーク領域のエッジを基にしてボルトの長さや径等を測定し、マッチングモデルとの比較を行って正しくマッチングできているかチェックを行うことが好ましい。なお、ここで説明したチェックは、後述する第二マッチング手段２１で行ってもよい。またこのチェックは、タクトタイム等に影響を及ぼさなければ類似品以外にも適用することが好ましい。
【００５４】
また、第一マッチング手段１８でマッチングを行うに際しては、既に一のマッチングモデルによってマッチングを行って第一画像Ｇ１中にこの一のマッチングモデルに基づくワーク領域が特定されている場合は、このワーク領域以外の部分に対して他のマッチングモデルとのマッチングを行うことが好ましい。例えばワークＷＢに対応するマッチングモデルでマッチングを行った場合は、次のワークＷＣのマッチングは、ワークＷＢで特定した領域以外の領域に対してマッチングを行うものとする。これにより、ワークＷＣでマッチングを行う領域を減らすことができるので、より短いタクトタイムでマッチングを完了させることが可能になる。
【００５５】
第一マッチング手段１８によるマッチングが終了した後は、優先度設定手段１９によってワークＷＢ、ＷＣ、ＷＤ、ＷＥに優先度を与える。本実施形態では、評価関数として高さに関係する変数のみを使用して優先度を定めている。そして、最も優先度が高いワーク（取り出し対象ワーク）に対して第一位置姿勢算出手段２０によって概略位置情報と概略姿勢情報を算出する。本実施形態では、マッチングモデルとして三次元ＣＡＤデータから得られた三次元情報を二次元画像に紐付けしたものを用いているため、この三次元情報を概略位置情報と概略姿勢情報に利用することができる。
【００５６】
なお、三次元情報を利用して概略位置情報と概略姿勢情報を定める場合は、特に高さの精度が劣ることがある。このような場合には、高さ補正手段２４を用いて高さ方向の補正を行うことが好ましい。本実施形態の高さ補正手段２４では、三次元画像である第一画像Ｇ１を使用してマッチングモデルとのマッチングを行って高さ情報を取得している。そして、先に算出した三次元情報を利用した概略位置情報の高さ情報と、三次元画像から得た高さ情報との差を求め、その平均を補正値として、先の概略位置情報における高さ情報を補正している。
【００５７】
その後は、ロボットアーム２及びハンドリング部３を駆動させて第二撮像部５を取り出し対象ワークに正対させ、第二撮像部５で取り出し対象ワークを撮像して第二画像Ｇ２（二次元画像及び三次元画像）を取得し、第二マッチング手段２１によって二次元画像の第二画像Ｇ２とマッチングモデルとのマッチングを行う。なお、本実施形態においては、第一フィンガー１０〜第四フィンガー１３を細くしていて、取り出し対象ワークを取り出す時に周囲に存在する他のワークの影響を受けにくくしているので、ピックアップ選択手段２２の適用は省略している。その後は、第二位置姿勢算出手段２３によって第二画像Ｇ２から取り出し対象ワークの詳細位置情報と詳細姿勢情報を算出する。なお、ここで使用する第二画像Ｇ２は二次元画像であって、本実施形態では前述の高さ補正手段２４によって詳細位置情報における高さ情報を補正している。その後はハンドリング部３で取り出し対象ワークを保持して取り出し部Ｓ１から取り出し、状況によっては仮置き部Ｓ３を経由した後、整列部Ｓ２に並べて載置する。
【００５８】
以上説明したように、本実施形態のピックアップ装置１では、第一撮像部４によって取り出し可能なワークを選択することができるため、そのワークに対して第二撮像部５を移動させることができる。そして第二撮像部５は、取り出し可能なワークに対して正対するように近づけられるので、ワークの詳細な位置や姿勢を取得することができる。従って、バラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることができる。更に、第二撮像部５が整列部Ｓ２や仮置き部Ｓ３、鋏開き部Ｓ４に移動している最中に、第一撮像部４では第一画像Ｇ１の取得を行うことが可能であるため、複数の動作を同時期に重ねて行うことができることからタクトタイムの短縮が更に可能になる。また、マッチング対象のワークの種類が多い場合は、複数のマッチングモデルを、ワークの大きさや形状が似たもので一括りとしたマッチングモデル群に分けておくことが好ましい。これにより、第一マッチング手段１８では、そのうちの代表的なマッチングモデルとのマッチングを行うことによって複数のマッチングモデル群から特定のマッチングモデル群を選定し、第二位置姿勢算出手段２３は、その特定のマッチングモデル群から特定のマッチングモデルを選定するとともに取り出し対象となるワークの詳細位置情報と詳細姿勢情報を算出するようにすることで、より短い時間でワークを取り出すことができる。
【００５９】
本発明に従うピックアップ装置は、上述した実施形態に限定されるものではなく、特許請求の範囲に従う範囲で種々の適用が可能である。例えば、制御部に含まれる各手段は、必要に応じて省略してもよい。またワークは、上述したものに限られず、例えば他の医療機器（メスなど）であってもよい。
【符号の説明】
【００６０】
１：ピックアップ装置
２：ロボットアーム
３：ハンドリング部
４：第一撮像部
５：第二撮像部
６：保持部
７：プロジェクター
８：開口部
９：装着部
１０：第一フィンガー
１１：第二フィンガー
１２：第三フィンガー
１３：第四フィンガー
１４：制御部
１５：駆動手段
１６：片寄り補正手段
１７：記憶手段
１８：第一マッチング手段
１９：優先度設定手段
２０：第一位置姿勢算出手段
２１：第二マッチング手段
２２：ピックアップ選択手段
２３：第二位置姿勢算出手段
２４：高さ補正手段
Ｇ１：第一画像
Ｇ２：第二画像
Ｓ１：取り出し部
Ｓ２：整列部
Ｓ３：仮置き部
Ｓ４：鋏開き部
Ｔ：トレイ
ＷＡ：ワーク
【図１】
2017124450.tif 000003
【図２】
2017124450.tif 000004
【図３】
2017124450.tif 000005
【図４】
2017124450.tif 000006
【図５】
2017124450.tif 000007
【図６】
2017124450.tif 000008
【図７】
2017124450.tif 000009
【図８】
2017124450.tif 000010
【図９】
2017124450.tif 000011
【図１０】
2017124450.tif 000012