(57)【要約】【課題】低いコスト、高い信頼性で、バラ積みワークを取出すことのできるワーク取出し装置。【解決手段】基準位置にあるワーク４１をビデオカメラ１で撮像し、画像処理装置２０のモデル生成手段６で全体特徴情報８を抽出する。部分モデル生成手段７は部分特徴情報１０を抽出し、部分特徴検出領域情報９とともに記憶する。作業時にワークコンテナ４０上の複数ワーク４１を撮像し、各ワーク像を全体特徴情報により検出する。部分領域設定手段３は各ワークの位置姿勢情報と部分特徴検出領域情報に基づいて部分領域を設定する。部分特徴情報１０を使って各部分領域で部分特徴を検出し、それに基づいて各ワークの優先度を決定する。ロボット制御装置３０によりロボット３０が優先度の最も高いワークを取り出す。【選択図】　　　　　　図１
2004050390.tif 000002
【特許請求の範囲】
【請求項１】
ロボットにより複数個の対象物から該対象物を１個づつ取り出す際に、前記複数個の対象物を撮像した画像に基づいて夫々の対象物を取り出す優先度を決定し、該優先度に従って対象物を取り出すワーク取出し装置であって、
前記対象物の全体の形状を代表する特徴と、該対象物の少なくとも１つの部分の形状を代表する特徴とを記憶する手段と、
前記対象物の全体の形状を代表する特徴をもとに該画像中に前記夫々の対象物を見つけるとともに前記画像における前記対象物の位置姿勢を検出する手段と、
前記検出された前記対象物の前記画像における位置姿勢と、前記対象物の少なくとも１つの部分の形状を代表する特徴を検出するために予め定義した検出領域とに基づいて、前記画像の対象物に前記検出領域を設定する手段と、
前記設定された検出領域内で前記部分の形状を代表する特徴を検出する対象物部分検出手段と、
前記対象物部分検出手段によって検出された結果に応じて、検出された対象物について取り出す優先度を決定する手段とを備えることを特徴とするワーク取出し装置。
【請求項２】
前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴の数であり、該特徴の数の大小によって対象物を取り出す優先度を決定することを特徴とする請求項１に記載のワーク取出し装置。
【請求項３】
前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴のマッチング度であり、該特徴のマッチング度の総和の大小によって前記対象物を取り出す優先度を決定することを特徴とする請求項１に記載のワーク取出し装置。
【請求項４】
前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴の大きさとマッチング度であり、該部分特徴の大きさとマッチング度の積和の大小によって前記対象物を取り出す優先度を決定することを特徴とする、請求項１に記載のワーク取出し装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、バラ積みされた複数のワークを産業用ロボットによって順次取り出す作業に用いられる装置に関する。
【０００２】
【従来の技術】
バラ積みされた複数のワークを視覚センサで検出して取り出す場合、大きな問題となるのは相互に重なりが発生している対象物をどう扱うかという点である。この問題に対する一般的な解法は、重なり合っているワークの集合から最上部に載っているワークを見つけて取り出すというやり方である。
【０００３】
例えば特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、検出されたワークの外周領域において他ワークの存在をチェックし、その領域で他ワークの占める面積や、別途方法で計測した他ワークの高さによって重なりの状況を判断する方法を採用している。
【０００４】
また、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワークの輪郭線をトレースすることによってワークを検出し、他ワークとの重なりがあると判断された場合に、重なり部の濃淡分布もしくは別途参照光投射による高さ検出によって上下関係を判断している。
【０００５】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、ワークを検出し、検出された複数のワークの相互関係から重なりが発生している部分を突き止め、その部分での対象物特徴の局所マッチングによって、その部分がどのワークに属するものかを判定してワーク同士の上下関係を判断している。
【０００６】
【発明が解決しようとする課題】
上記したような従来の技術にはそれぞれ次のような問題点がある。先ず特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、対象物が例えば偏平な単純形状のものである場合、他ワークの存在を確認すること自体が曖昧となり判断の信頼性が低下する。また、他ワークの高さ情報を取得するために、画像処理手法以外の方法を併用しなければならないため、コスト的なディメリットも発生する。
【０００７】
次に、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワーク同士の重なりの判断がそのワークの輪郭線のトレースに依っており、一般に画像上でワークの輪郭線はワーク表面での照明光の反射具合から連続線とならない場合が多いため、重なり部位を求める判断自体が信頼性の低い場合がある。また、同じ理由で重なり部の濃淡分布による高さ検出も信頼性が低い場合があり、参照光投射には装置に関するコスト的なディメリットもある。
【０００８】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、例えば２つのワーク同士で重なりが発生している部分を突き止めるために、互いのワーク形状の相互関係を幾何学的に考慮している。これはワークが円のように単純形状であれば外形がその中心から等距離にあるため処理が簡単であるが、ワークが複雑な形状になると重なりが発生している部分を突き止める計算コストが非常に増加するという欠点がある。
【０００９】
そこで本発明はこれら従来技術の問題点を解決し、コスト負担を増大させることなく、高い信頼性で、ワーク取出しの優先度を定めてワーク取出し作業を行えるワーク取出し装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、例えば２次元ビジョン機能を利用して複数個の対象物の像を含む画像から対象物を検出し、予め指定した対象物の部分の形状を代表する特徴の見え具合を、例えば「検出された部分の形状を代表する特徴が検出された数」、「検出された部分の形状を代表する特徴のマッチング度の総和」、あるいは、「検出された部分の形状を代表する特徴の大きさとマッチング度の積和」などで評価し、それに基づいて部分を代表する特徴がより多く、あるいは、より良く見えている対象物から優先的に取り出しを行なうようにすることで上記課題を解決したものである。
【００１１】
即ち、ロボットにより複数個の対象物から該対象物を１個づつ取り出す際に、前記複数個の対象物を撮像した画像に基づいて夫々の対象物を取り出す優先伝度を決定し、該優先度に従って対象物を取り出すワーク取出し装置について、請求項１は、同装置が、前記対象物の全体の形状を代表する特徴と、該対象物の少なくとも１つの部分の形状を代表する特徴とを記憶する手段と、前記対象物の全体の形状を代表する特徴をもとに該画像中に前記夫々の対象物を見つけるとともに前記画像における前記対象物の位置姿勢を検出する手段と、前記検出された前記対象物の前記画像における位置姿勢と、前記対象物の少なくとも１つの部分の形状を代表する特徴を検出するために予め定義した検出領域とに基づいて、前記画像の対象物に前記検出領域を設定する手段と、前記設定された検出領域内で前記部分の形状を代表する特徴を検出する対象物部分検出手段と、前記対象物部分検出手段によって検出された結果に応じて、検出された対象物について取り出す優先度を決定する手段とを備えていることを規定している。
【００１２】
また、請求項２に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴の数であり、該特徴の数の大小によって対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１３】
請求項３に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴のマッチング度であり、該特徴のマッチング度の総和の大小によって前記対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１４】
そして、請求項４に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記対象物部分検出手段によって検出された結果は、検出された部分を代表する特徴の大きさとマッチング度であり、該特徴の大きさとマッチング度の積和の大小によって前記対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１５】
【発明の実施の形態】
以下、図１〜図４を参照して本発明の１つの実施形態について説明する。先ず、図１は、本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。同図において、符号４０はワークコンテナを表わし、同ワークコンテナ上に複数のワーク４１がバラ積み状態で積載されている。ワーク４１を取り出すためのワーク取出し装置の主要部は、ロボット制御装置３０で制御されるロボット３１と、ビデオカメラ１と画像処理装置２０を含む２次元視覚センサで構成される。なお、図１において画像処理装置２０は、便宜上、同画像処理装置２０の行なう処理手順の概要を表わすブロック図部分を囲む形で示されている。
【００１６】
ロボット３１は、ワークコンテナ上のワーク４１を順次把持して取り出すのに適した位置に設置され、ビデオカメラ１は、ワークコンテナ上のワーク４１をほぼ真上から視野に収めて撮影できる位置に設置されている。ロボット制御装置３０と画像処理装置２０の間は通信回線３２で結ばれており、ロボット制御装置３０は、ビデオカメラ１で撮影され画像処理装置２０で処理された結果を利用してワーク４１を「優先度」に従って順次ハンドリング（アプローチ、把持、取出しの動作）する。
【００１７】
ここで、「優先度」とは、各ワークがどの程度次に取り出すに適した状態（取り出し易さ）にあるかを表わす度合である。即ち、本実施形態で行なわれる作業の骨格は、下記（ｉ）、（ｉｉ）を全ワークの取出しを終えるまで繰り返すことである。
【００１８】
（ｉ）視覚センサで、バラ積み状態にある複数のワーク４１の状態を解析して、各ワーク４１の取出しの「優先度」を定める。
（ｉｉ）その定められた「優先度」の最も高いワーク（最優先ワークという）の位置・姿勢データを使い、ロボット３１にその最優先ワークのハンドリング（アプローチ、把持、取出しの動作）を行なわせる。なお、最後のワークでは　自動的にその残されたワークに決まる。
【００１９】
次に、優先度の決定のために準備されるモデル生成、部分モデル生成、全体特徴情報、部分特徴情報等について説明する。先ず、事前に対象となるワーク４１のモデル生成と部分モデル生成を行なっておく。そのために、基準位置に置かれた１個のワーク４１がビデオカメラ１によって撮像される。図１中にブロックで示したモデル生成手段（画像処理のソフトウェア）６は、その画像からモデルとなる全体特徴情報８を抽出する。この全体特徴情報８は、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２０】
ここで、「全体特徴情報」とは、１個のワーク４１の全体の形状を代表する特徴を表わす情報のことであり、その一例を図２（ａ）に示した。またこのモデル生成に続いて、図１中にブロックで示した部分モデル生成手段（ソフトウェア）７によって、部分特徴情報１０が抽出され、それが部分特徴検出領域情報９とともに、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２１】
ここで、「部分特徴情報」とは、１個のワーク４１を構成する少なくとも１つの部分の形状を代表する特徴を表わす情報のことである。図２（ｂ）はその一例であり、図２（ａ）に示された全体特徴情報の例と対をなすものである。なお、図２（ａ）、（ｂ）におけるＯ−ＸＹの表示は、画像座標（画面上における座標）を表わしている。
【００２２】
これら図２（ａ）、（ｂ）を対照比較すると判るように、図２（ａ）に示した全体特徴情報は、１個のワーク４１の特定の部分を代表するのではなく、全体を代表するものとなっている。本例では、ワーク４１の全体を上方から見た場合の主要な輪郭線が全体特徴情報を構成している。これに対して、図２（ｂ）に示した部分特徴情報は、全体特徴情報であるワーク全体の主要輪郭線から、６つの部分の輪郭線が選択され、それぞれが部分特徴とされている。そして、６個の部分特徴のそれぞれが存在する部分領域が、符号５１〜５６で示された「部分特徴検出領域」となっている。換言すれば、各部分特徴検出領域５１〜５６の中に示されたワーク輪郭線が、本例における部分特徴情報である。なお、符号５０は全体特徴情報の原点を示しており、この原点と部分特徴情報５１〜５６の相対位置関係も部分特徴検出領域情報に含まれる。
【００２３】
次に実際にワークを検出してハンドリングする際の検出処理について説明する。ビデオカメラ１で撮像された画像が対象物全体検出手段２に送られ、全体特徴情報８を用いてその画像中からワークの像が検出される。ここでの具体的な検出処理方法には様々な公知のものが適用可能なので、詳細には言及しない。続いて、部分領域設定手段３は、対象物全体検出手段２で検出されたワーク４１の位置姿勢情報と部分特徴検出領域情報９に基づいて、部分特徴の検出を行なうべき部分領域の設定を行なう。
【００２４】
ここまでの処理の様子の一例を図３に示す。同図に示したように、ここでは画像座標Ｏ−Ｙ上で斜めになったワーク全体像が、全体特徴情報８を用いて抽出され、その位置が対象物全体検出によって符号６０の位置に求められ、位置６０と姿勢を基準に、部分特徴検出領域６１〜６６が部分領域設定で定められる。続いて図１中にブロックで示した対象物部分検出手段４により、先述の各部分領域６１〜６６のそれぞれの内で部分特徴情報１０の検出が行なわれる。
【００２５】
その検出結果は、例えば「部分特徴検出成功数」を表わす正整数で表現され、各検出ワーク毎に合計得点が計算される。このようにして評価された結果のデータは、部分特徴数が優先度決定手段５に送られ、これの大きい順に優先度を与え、最も優先度の高いワークの位置姿勢検出結果がロボット制御装置３０に送られる（同点の場合は例えば先に検出されたワークを優先する）。
この一例を図４に示す。図４（ａ）のような状況にある２個のワークＡ、Ｂに注目した時、前述のような検出処理を施すと、図４（ｂ）における点線で示す枠内に各部分特徴が検出される。左側のワークＢの部分特徴検出総数は、右側のワークＡの部分特徴検出総数よりも小さくなる。これにより、先に取り出し対象物としてワークＡが選択される。
【００２６】
なお、この優先度決定の基準には、前述のような部分特徴検出数だけではなく、各部分特徴検出時のマッチング度を評価し、これの総和を用いても良い。マッチング度を例えば最小０、最大１００の正整数で表わすことにすれば、各検出ワークについて、部分特徴毎にマッチング度を定めることが出来る。
【００２７】
例えば、図４に示したワークＡについては、ワーク全体が露出して良く見える状態にあるため、各部分特徴毎にマッチング度はほぼ最大の１００となる。一方、図４に示したワークＢについては、ワークＡで覆われた部分があるため、一部の部分特徴についてマッチング度は低い値（例えば３０）となり、総和はワークＡのそれよりかなり低くなる。これにより、ワークＡの優先度≧ワークＢの優先度と判定できる。
【００２８】
更に、各部分特徴の大きさとして、その部分特徴検出領域の面積値をも用い、マッチング度と面積の積和を使用することも有効である。この場合、各部分特徴のマッチング度を表わすスコアに、部分特徴検出領域の大きさを表わす重み係数を乗じた上で、各検出ワーク毎に「優先度」が計算される。
【００２９】
以上は、ビデオカメラ１台で複数の２次元的な平板状のワークを取り扱う例であるが、本発明はそのような場合に限定されるものではなく、ビデオカメラを複数台用いたステレオビジョン方式により複数の立体的なワークを取り扱うときに、何れかのビデオカメラで撮像した画像に本発明を適用することにより、ワークを取り出す優先度を求めることが可能であることは言うまでもない。
【００３０】
【発明の効果】
本発明においては、対象ワークの部分を代表する特徴の見え方の良し悪しから取出しの適切度を求めているため、以下のように従来技術にみられる問題が回避される。
（１）他ワークの存在具合をベースに重なりを評価する時に問題となる他ワーク存在の判断の信頼性に関ることがない。
（２）ワークの輪郭線をベースに重なりの有無を判断する時に問題となる輪郭線の見え方の連続性問題に関ることがない。
（３）重なり部の上下関係を判定するために利用される信頼性の低い濃淡ベースの評価をする必要がなく、また特別な参照光投光を用いる必要もない。
（４）また、ワーク形状の複雑さによって計算処理コストが非常にかさむような問題も回避している。以上のように処理結果の信頼性、計算コストの両面において優れたワーク取出し装置が提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。
【図２】（ａ）はワークの全体特徴情報の一例を示す図であり、（ｂ）はワークの部分特徴情報の一例を示す図である。
【図３】実施形態で検出されたワークの画像について、処理の様子の途中経過を説明する図である。
【図４】（ａ）は２つのワークの重なり状態を例示した図であり、（ｂ）はそれら２つのワークの優先度の差について説明する図である。
【符号の説明】
１　ビデオカメラ
２　対象物全体検出手段
３　部分領域決定手段
４　対象物部分検出手段
５　優先度決定手段
６　モデル生成手段
７　部分モデル生成手段
８　全体特徴情報
９　部分特徴検出領域情報
２０　画像処理装置
３０　ロボット制御装置
３１　ロボット
３２　通信回線
４０　ワークコンテナ
４１　ワーク
【図１】
2004050390.tif 000003
【図２】
2004050390.tif 000004
【図３】
2004050390.tif 000005
【図４】
2004050390.tif 000006