(57)【特許請求の範囲】
【請求項１】
同一形状で複数の部品が３次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、
上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、
上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、
抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の３次元的な位置姿勢情報を求める３次元位置姿勢演算部と、
を備え、
上記直線状明領域抽出部は、
それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、
上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、
それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、
上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する、
ことを特徴とする位置姿勢認識装置。
【請求項２】
上記明領域広がり度判定部は、上記明領域抽出部にて抽出された上記明領域から上記部品に対応した明領域を抽出し該部品の明領域の直線的な広がり度を求める広がり度演算部と、上記広がり度を元に上記部品の明領域が直線状か否かを判定する直線判定部とを有する、請求項１記載の位置姿勢認識装置。
【請求項３】
請求項１又は２に記載の位置姿勢認識装置と、
上記位置姿勢認識装置から供給される、部品の３次元的な位置姿勢情報に応じて部品群から目的の部品をピッキングするロボットと、
を備えたことを特徴とする部品ピッキングシステム。
【請求項４】
同一形状で複数の部品が３次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める、位置姿勢認識装置にて実行される位置姿勢認識方法において、
上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求め、
上記撮像画像から上記部品に対応した部品明領域を抽出し該部品明領域の直線的な広がり度を求め、該広がり度を元に上記部品明領域が直線状か否かを判定し、
得られた直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の３次元的な位置姿勢情報を求め、
上記部品明領域の抽出では、
それぞれ異なる閾値を有する複数の明領域抽出部にて上記撮像画像から明領域を抽出し、
上記明領域抽出部に対応して複数設けられる明領域広がり度判定部にて、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出し、
融合領域作成部にて、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成し、
融合領域広がり度判定部にて、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する、
ことを特徴とする位置姿勢認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元的に位置姿勢が未知な対象物の３次元位置姿勢を検出する位置姿勢認識装置に関する。本発明は、特にロボット等の産業機械において山積みされたワークピースを一つずつ取り出すビンピッキング作業に適用される位置姿勢認識装置及び方法、並びに上記位置姿勢認識装置を備えたピッキングシステムに関する。
【背景技術】
【０００２】
例えばボルトのような同一形状のワークピースが乱雑に山積みされた中から、又は、所定領域内に３次元的に異なる任意の位置姿勢で収納されているワークピースの集合から、個々のワークピースを取出す作業は、自動化が難しく、従来から人手によって行われている。ロボット（専用機）を使用して、個々のワークピースを他パレット等の他の容器に収納したり、機械や装置等の所定位置に搬送したりする場合においても、乱雑に山積みされたワークピースから、上記ロボットが直接１つ１つのワークピースを取り出すことは不可能である。したがって、上記ロボットが上記ワークピースを取り出し可能なように、予め、上記ワークピースを整列させておく必要がある。この場合にも、山積みされたワークピースから、人手によって、１つ１つワークピースを取り出して整列配置する必要があった。
【０００３】
このような課題を解決するために、特許文献１及び特許文献２の発明は、ワークピースの位置姿勢を認識する装置を開示している。これら両文献における認識方法は、いずれもカメラを用いて対象のワークピースを撮像し、画像処理によってワークピースの位置姿勢を認識するものである。よって、対象のワークピースのさまざまな姿勢に対応した、見え方のモデルを、予め多数用意しておく。そして、撮像されたワークピースの画像に最もよく適合している上記見え方モデルを特定することにより、撮像されたワークピースは、特定された見え方モデルと同じ姿勢であると判定するものである。尚、特許文献１と特許文献２とでは、上記見え方モデルの作成方法が異なっている。
【０００４】
【特許文献１】特許第３２２５７４０号
【特許文献２】特許第３３７７４６５号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
姿勢によって見え方が大きく変化するワークピースに対しては、上述の特許文献に示された装置が適用可能である。一方、ボルトやネジのような単純な形状のワークピースでは、姿勢が変化しても、見え方はよく似ており、上述の特許文献に示された装置を適用することはできない。
【０００６】
例えば、ネジが山積みされている状態では、ネジの頭は、他のネジによって隠されることがあり、姿勢判定の情報には適さない。又、ネジの胴部分は、水平に置かれているときが一番長く見え、傾くに従って短く見える。山積み状態では、ネジの端が他のネジに隠されることがあり、見えた長さからは姿勢を判定できない。又、ネジ山の見え方は、姿勢によって変化すると考えられるが、これを識別するためには、非常に高分解能なカメラが必要であり、実用的ではない。
【０００７】
又、ネジの場合、振動型のパーツフィーダなどにより整列させることができるが、ネジの種類や長さ毎にパーツフィーダや、整列オプション部品を準備する必要があり、コストがかさむという問題がある。
【０００８】
本発明は、上述したような問題点を解決するためになされたもので、同一形状の部品が３次元的に異なる任意の位置及び姿勢で配置された部品群に対してもビンピッキングを可能とする位置姿勢認識装置及び方法、並びに上記位置姿勢認識装置を備えたピッキングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は以下のように構成する。
即ち、本発明の第１態様における位置姿勢認識装置は、同一形状で複数の部品が３次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の３次元的な位置姿勢情報を求める３次元位置姿勢演算部と、を備え、上記直線状明領域抽出部は、それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する。
【発明の効果】
【００１０】
本発明の第１態様における位置姿勢認識装置によれば、奥行き計測部、直線状明領域抽出部、及び３次元位置姿勢演算部を備えたことで、部品群の撮像画像から、他と交差することなく単独で延在する直線状の明領域を抽出でき、さらに、抽出した単独の直線状明領域に奥行き情報を付加することで部品の３次元位置姿勢情報を得ることができる。よって、本発明によれば、同一形状の部品が３次元的に異なる任意の位置及び姿勢で配置された部品群に対してもビンピッキングが可能となる。又、上述の構成により本発明によれば、従来技術のように、部品における種々の見え方モデルを作成する必要はなく、かつ、撮像画像と上記見え方モデルとを照合するという負荷の重い処理を実行する必要もない。又、コスト的にも有利な位置姿勢認識装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施形態である、位置姿勢認識装置、該位置姿勢認識装置にて実行される位置姿勢認識方法、及び上記位置姿勢認識装置を備えたピッキングシステムについて、図を参照しながら以下に説明する。尚、各図において、同一又は同様の構成部分については同じ符号を付している。
【００１２】
実施の形態１．
図１は、上記実施形態の位置姿勢認識装置１０１の全体構成を示すとともに、該位置姿勢認識装置１０１を備えたピッキングシステム２０１の構成を示している。
ここで位置姿勢認識装置１０１は、同一形状で複数の部品８０が３次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群８１から個々の部品８０の位置姿勢を求める装置である。
又、ピッキングシステム２０１は、位置姿勢認識装置１０１と、位置姿勢認識装置１０１から供給される、部品８０の３次元的な位置姿勢情報に応じて部品群８１から目的の部品８０を一つずつ取り出す（ピッキングする）ロボット１５０とを備える。ロボット１５０は、目的の部品８０をピッキングする駆動部１５１と、位置姿勢認識装置１０１から供給される、部品８０の３次元的な位置姿勢情報に応じて駆動部１５１の動作制御を行う制御部１５２とを有する。
【００１３】
位置姿勢認識装置１０１について、以下に詳しく説明する。
位置姿勢認識装置１０１は、基本的構成部分として、奥行き計測部２０と、直線状明領域抽出部７０と、３次元位置姿勢演算部５０とを備え、直線状明領域抽出部７０は、明領域抽出部３０と、明領域広がり度判定部４０とを有する。このような構成部分を有する位置姿勢認識装置１０１は、通常、コンピュータにて構成される。
又、位置姿勢認識装置１０１は、さらに撮像装置１０を備えるのが好ましい。一方、撮像装置１０を備えず、別途、撮像画像情報が位置姿勢認識装置１０１に供給される構成を採ることもできる。
【００１４】
撮像装置１０は、部品供給トレイ９０に山積みされた部品８０を、その上方から撮像する装置である。尚、本実施形態では、部品８０の一例としてネジを採る。
【００１５】
奥行き計測部２０は、撮像装置１０で撮像された撮像画像における画素毎の奥行きを計測する。ここで、奥行きとは、具体的には、Ｘ，Ｙ平面にてなる撮像画像面に直交する、つまりＺ軸方向における座標値が相当する。
【００１６】
奥行き計測部２０にて実行される画素毎の奥行き計測動作については、本明細書では詳述しないが、いくつかの方法が知られている。これらの公知の方法が奥行き計測部２０にて実行可能である。例えば、「井口征士、佐藤宏介  著「三次元画像計測」昭晃堂（１９９０年１１月２０日）」には、「空間コード化法」と称される、コード化されたストライプパターンを切り替えてシーンに投影し、パターンを切り替えたときの各画素の明暗の変化から奥行きを計算する手法が詳述されている。このタイプの手法ではカメラは固定で、照明を切り替えて複数の画像を取得するのが特徴である。本実施の形態では、奥行き計測部２０で用いるカメラは、撮像装置１０におけるカメラを用いる。
【００１７】
直線状明領域抽出部７０は、上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する。尚、直線状明領域抽出部７０についての詳細な説明は、以下の動作説明にて行う。
３次元位置姿勢演算部５０は、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の３次元的な位置姿勢情報を求める。
【００１８】
以上のような構成を有する位置姿勢認識装置１０１における動作、即ち、位置姿勢認識方法について、以下に説明する。
まず、撮像装置１０にて、山積みされた、部品に相当するネジ８０のシーンを撮像する。図２に山積みのネジ８０の撮像画像例を示す。
次に、撮像画像の画素毎について、奥行き計測部２０にて、図２の撮像画像の各画素に対応するシーンの奥行きを計測する。画素毎の奥行きを計測した結果を、奥行きを明暗で表示した画像を図３に示す。図３において、明るい画素は、撮像装置１０のカメラに近く、暗い画素は、カメラから遠いことを示している。図３において、画素値がゼロの画素は、奥行きが閾値以上に深いか、何らかの理由で計測できなかったことを示す。
【００１９】
次に、直線状明領域抽出部７０を構成する明領域抽出部３０は、撮像装置１０から得られた図２に示す撮像画像から明るい領域を抽出する。即ち、例えば、ある閾値以上の画素値を有する画素は１（明）、閾値未満の画素値の画素は０（暗）にする２値化処理を行うことで、明領域抽出部３０は、図４に示すような、明領域を抽出した画像を生成する。このような２値化画像に対して、明領域抽出部３０は、画像処理としてよく知られているラベリング処理を施すことにより、連結している領域毎に分離して識別でき、各明領域の形状を解析することができる。
【００２０】
図４から明らかなように、山積みされたネジ８０の画像の明領域は、次の４種類に分類できる。第１は、面積が広い、トレイ９０の縁部に対応する明るい部分の領域である。第２は、面積が小さい、下層のネジ８０が部分的に見えている部分の領域である。第３は、上層部のネジ８０の側面が単独で直線状に明るい部分の領域である。第４は、やはり上層部のネジ８０の側面が直線状に明るい部分であるが、上記単独ではなく、隣接するネジ８０の同じように明るい部分が画像としてつながってしまい、Ｘ字型、Ｙ字型、Ｔ字型、あるいはそれらの組み合わせのように見える部分の領域である。
【００２１】
次に、直線状明領域抽出部７０を構成する明領域広がり度判定部４０は、上述した、第３分類に相当する、上層部のネジ８０の側面が単独で直線状に明るい部分のみを、次段の明領域の３次元位置姿勢演算部５０へ送る役割を果たす。又、図１に示すように、明領域広がり度判定部４０は、広がり度演算部４０ａと、直線判定部４０ｂとで構成される。広がり度演算部４０ａは、明領域抽出部３０にて抽出された上記明領域から上記部品に対応した明領域を抽出し該部品の明領域の直線的な広がり度を求める。直線判定部４０ｂは、部品に相当するネジ８０の明領域が直線状か否かを判定する。
【００２２】
具体的に説明すると、広がり度演算部４０ａは、明領域抽出部３０にて抽出された上記明領域の情報から、まず、明領域の面積がネジ８０として予め設定された上限の面積を超える明領域、つまり上述の第１に分類される明領域について、ネジ８０ではないと判断して棄却する。尚、このとき、上述の、第４に分類される、隣接するネジ８０同士が画像としてつながっているものについても棄却対象に含まれてしまう場合もあるが、下記するように、これらも棄却されるべきものであるので、この時点で棄却されても問題はない。
【００２３】
又、広がり度演算部４０ａは、明領域の面積がネジ８０としての下限の面積以下の明領域、つまり上述の第２に分類される明領域について、これらは下層のネジ部分でありビンピッキングの対象外と判断し、棄却する。尚、以上の、上記第１及び第２に分類される明領域が非部品明領域に相当する。
よってこの段階では、上述の第３、第４に分類される明領域つまり部品であるネジ８０に該当する明領域が、単独の明領域に相当するか否かの判断対象となる。尚、図５には、上記第３に分類される明領域の一例を明領域１１１として、上記第４に分類される明領域の一例を明領域１１２としてそれぞれ図示している。
【００２４】
さらに広がり度演算部４０ａは、上述の、ネジ８０に該当する明領域、例えば上記明領域１１１，１１２に対してまず直線を当てはめる。当てはめる直線は、該直線から当該明領域を構成する各画素までの距離の２乗和が最小になるように決定される。図５に示すように、例えば明領域１１１、１１２に設定された直線は、それぞれ、直線１２１、１２２のようになる。
【００２５】
次に、広がり度演算部４０ａは、ネジ８０に該当する明領域、例えば上記明領域１１１，１１２を構成する画素のうち、設定した直線１２１，１２２を中心として、該直線に直交する方向において予め定めた距離ｄ以上離れた領域に存在する画素と、上記距離ｄ内の領域に存在する画素との比率を求める。例えば、明領域１１１の場合、図５からも明らかなように、上記比率は、０％であり、明領域１１２の場合、３０％となる。
【００２６】
次に、明領域広がり度判定部４０を構成する直線判定部４０ｂは、上記比率が、例えば２０％未満なら直線的広がりである、つまり明領域が単独で直線状に延在する（上記第３分類）、と判定し、２０％以上なら非直線的である、つまり明領域が交差している（上記第４分類）、と判定する。
このようにして、明領域広がり度判定部４０は、明領域抽出部３０にて抽出された明領域から、単独で直線状に延在する直線状明領域を抽出する。直線状明領域であると判定された領域の情報は、次の３次元位置姿勢演算部５０に引き渡される。図５の場合では、明領域１１１が３次元位置姿勢演算部５０へ供給される。
【００２７】
３次元位置姿勢演算部５０は、画素毎の奥行き計測部２０の出力から、上記直線状明領域であると判定された領域の画素の奥行情報を取り出し、その明領域の３次元姿勢を計算する。この計算は、（Ｘ，Ｙ）座標が画素位置として得られ、Ｚ座標が奥行き情報として得られているので、（Ｘ，Ｙ，Ｚ）の３次元の点群が与えられたときの直線当てはめの計算として知られている。
【００２８】
このようにして得られた部品の３次元位置姿勢の計算結果は、ロボット１５０の制御部１５２に、例えば通信にて送出される。制御部１５２は、上記３次元的な位置姿勢情報に応じてロボット１５０の駆動部１５１の動作制御を行い、ロボット１５０は、当該のネジ８０をピッキングすることができる。
【００２９】
実施の形態２．
上述したように、実施の形態１では、直線状明領域抽出部７０は、撮像画像から抽出した明領域が単独の直線状であるか否かを判定している。実施の形態２では、この直線状明領域抽出部７０について、より精度の高い判定を可能とする構成を示す。
【００３０】
照明が一様であっても、山積みのネジ８０のように、対象物がさまざまな角度で傾斜していると同一形状のネジ８０の側面でも、異なった明るさで画像化される。また、他のネジ８０の影になる部分は、明度が低下する。そのため、単独の２値化用閾値を用いた場合では、例えば高い閾値を設定したときには、一つのネジ８０について、互いに分離した２つの明領域が抽出される場合がある。一方、該状態を避けるため、上記高閾値よりも低く閾値を設定すると、上記明領域以外の部分で、他のネジ８０と交差したように明領域が抽出されてしまう場合がある。このように、一つの２値化用閾値を用いる場合には、その値をいずれに設定するかが難しい。
【００３１】
実施の形態２の位置姿勢認識装置１０２は、この点を解決しようとするものである。位置姿勢認識装置１０２では、実施の形態１における直線状明領域抽出部７０に代えて、図６に示す直線状明領域抽出部７０Ａを備え、さらに、融合領域作成部３５、及び融合領域広がり度判定部４１を備える。位置姿勢認識装置１０２におけるその他の構成部分は、図１に示す位置姿勢認識装置１０１の構成に同じである。よって以下には、直線状明領域抽出部７０Ａ、融合領域作成部３５、及び融合領域広がり度判定部４１についてのみ説明を行う。
【００３２】
直線状明領域抽出部７０Ａでは、実施の形態１における明領域抽出部３０及び明領域広がり度判定部４０に対応した明領域抽出部３０Ａ及び明領域広がり度判定部４０Ａを有する。明領域抽出部３０Ａは、複数の明領域抽出部３０−１〜３０−ｎを有し、これらに対応して、明領域広がり度判定部４０Ａは、複数の明領域広がり度判定部４０−１〜４０−ｎを有する。
【００３３】
明領域抽出部３０−１〜３０−ｎには、撮像装置１０にて得られた撮像画像がそれぞれ供給される。供給された撮像画像を２値化するための閾値について、明領域抽出部３０−１〜３０−ｎは、それぞれ異なる値を有し、本実施形態では明領域抽出部３０−１に最も高い閾値を設定し、順次、値を下げて、明領域抽出部３０−ｎに最も小さい閾値を設定している。尚、各明領域抽出部３０−１〜３０−ｎにおける動作は、実施の形態１における明領域抽出部３０における動作に同じであり、ここでの説明は省略する。
【００３４】
明領域広がり度判定部４０−１〜４０−ｎのそれぞれは、実施の形態１における明領域広がり度判定部４０の場合と同様に、広がり度演算部４０−１ａ〜４０−ｎａと、直線判定部４０−１ｂ〜４０−ｎｂとを有する。
明領域広がり度判定部４０−１〜４０−ｎには、対応する明領域抽出部３０−１〜３０−ｎから、それぞれ異なる閾値で２値化された明領域の情報が供給される。尚、各明領域広がり度判定部４０−１〜４０−ｎにおける動作は、実施の形態１における明領域広がり度判定部４０における動作に同じであり、ここでの説明は省略する。
【００３５】
融合領域作成部３５は、それぞれの明領域広がり度判定部４０−１〜４０−ｎから、単独で直線状に延在する直線状明領域が供給され、これらの論理和を取って融合領域を作成する。
【００３６】
融合領域広がり度判定部４１は、広がり度演算部４１ａと、直線判定部４１ｂとを有する。融合領域広がり度判定部４１には、上記融合領域が供給され、融合領域広がり度判定部４１は、供給された融合領域において単独でかつ直線状に延在する直線状明領域を抽出する。具体的な抽出動作は、上述の明領域広がり度判定部４０における動作に同様である。
【００３７】
簡単に説明すると、広がり度演算部４１ａは、上述の第３、第４に分類される明領域、つまり部品であるネジ８０に該当する明領域を上記融合領域から抽出し、抽出した明領域に直線を設定して、該直線から上記距離ｄ以上離れている画素の比率を求める。そして直線判定部４１ｂは、上記比率に応じて、上記明領域が直線的広がりを有するか否かを判定する。このようにして、融合領域広がり度判定部４１は、融合領域作成部３５にて作成された融合領域から、単独で直線状に延在する直線状明領域を抽出する。
そして、融合領域広がり度判定部４１は、抽出した直線状明領域を、位置姿勢認識装置１０２における３次元位置姿勢演算部５０へ送出する。
【００３８】
図７を参照して、直線状明領域抽出部７０に対して直線状明領域抽出部７０Ａでは、より精度の高い判定が可能となることを以下に説明する。
まず、撮像画像から、高い閾値で抽出される明領域は、上記高い閾値よりも低い閾値で抽出される明領域に包含されることに留意されたい。図７では、閾値ｉ（ｉ＝１，２，３，４）で抽出される明領域には、ｉの符号を付している。符号ｉの値が小さいほど高い閾値で抽出された明領域である。又、同じ閾値にて複数の明領域が抽出される場合には、さらに、ａ、ｂ、ｃの添字を付して区別している。
【００３９】
本実施形態では、明領域抽出部３０Ａに備わる明領域抽出部３０−１に閾値１が設定され、以下順次、明領域抽出部３０−２に閾値２が、明領域抽出部３０−３に閾値３が、明領域抽出部３０−４に閾値４が、それぞれ設定される。各明領域抽出部３０−１〜３０−４は、設定された各閾値に基づいて撮像画像の２値化を行い、それぞれの明領域を、明領域広がり度判定部４０−１〜４０−４へ送出する。
【００４０】
明領域広がり度判定部４０−１〜４０−４は、以下の動作を行う。
即ち、閾値１の明領域抽出部３０−１にて抽出された、「１」の符号が付された明領域、及び、閾値２の明領域抽出部３０−２にて抽出された明領域の内、「２−ｂ」及び「２−ｃ」の符号が付された明領域は、実施の形態１で述べたように、その面積が小さい上記第２の分類に該当することから、棄却される。一方、「２−ａ」の符号が付された明領域は、明領域広がり度判定部４０−２にて直線状であると判定され、論理和による融合領域作成部３５に送られる。
【００４１】
又、閾値３の明領域抽出部３０−３にて抽出された、「３−ａ」及び「３−ｂ」の符号が付された明領域は、明領域広がり度判定部４０−３にて、いずれも直線状と判定され、融合領域作成部３５に送られる。
又、閾値４の明領域抽出部３０−４にて抽出された「４」の符号が付された明領域は、閾値が低いため、「３−ａ」及び「３−ｂ」の明領域を含む広い領域となる。よって、「４」の明領域は、明領域広がり度判定部４０−４にて、非直線的と判定されて棄却される。
【００４２】
したがって、論理和による融合領域作成部３５へ送出される明領域は、「２−ａ」、「３−ａ」、及び「３−ｂ」であるが、「２−ａ」は「３−ａ」に包含されるので、結果的には、「３−ａ」及び「３−ｂ」の２つの明領域が直線状明領域として判定され、論理和による融合領域作成部３５へ送出される。
【００４３】
以上の説明からわかるように、図６に示す直線状明領域抽出部７０Ａでは、隣接する閾値にて得られる明領域同士が連結して非直線状となってしまう直前の閾値による明領域の抽出結果が得られる。具体的に説明すると、閾値４で抽出される明領域「４」では、明領域「３−ａ」と明領域「３−ｂ」とが連結し非直線状となってしまうが、非直線状となる直前の状態、つまり閾値３にて抽出される明領域「３−ａ」及び明領域「３−ｂ」を得ることができる。
【００４４】
このような働きにより、例えば、ネジ８０の傾斜によるネジ側面の明るさの差や、影などの影響が局部的に生じた場合でも、その影響が少ない直線状明領域を抽出することができる。そのため、単独の閾値を適用した実施の形態１の位置姿勢認識装置よりも、認識率の高い位置姿勢認識装置が実現される。
【００４５】
以上説明したように、実施の形態１、２の位置姿勢認識装置によれば、撮像画像から得た明領域について、単独でかつ直線状に延在する明領域を抽出し、抽出した明領域に、奥行き情報を付加することで部品の３次元位置姿勢情報を得るように構成した。よって、同一形状の部品が乱雑に山積みされたような部品群からもビンピッキングが可能となる。又、上述の構成によれば、高分解能なカメラや、部品を整列させるための装置を別途設ける必要もないことから、コスト的にも有利な位置姿勢認識装置を提供することが可能となる。
【００４６】
さらに又、実施の形態１、２の位置姿勢認識装置によれば、従来技術のように、部品における種々の見え方モデルを作成する必要はなく、かつ、撮像画像と上記見え方モデルとを照合するという負荷の重い処理を実行する必要もない。よって、従来に比べて、作業効率の向上を図ることができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態１における位置姿勢認識装置の全体構成を示すブロック図である。
【図２】図１に示す位置姿勢認識装置にて撮像される部品群の一例を示す画像である。
【図３】図２に示す部品群の撮像画像における各画素の奥行き計測結果を明暗で表した画像である。
【図４】図２に示す部品群の撮像画像を２値化した画像例である。
【図５】図１に示す位置姿勢認識装置における明領域の広がり度判定を説明するための図である。
【図６】本発明の実施の形態２における位置姿勢認識装置に備わる直線状明領域抽出部の構成を示すブロック図である。
【図７】図６に示す位置姿勢認識装置において、異なる閾値で明領域を抽出する様子を説明するための図である。
【符号の説明】
【００４８】
１０  撮像装置、２０  奥行き計測部、３０、３０Ａ  明領域抽出部、
３５  融合領域作成部、４０、４０Ａ  明領域広がり度判定部、
４０ａ  広がり度演算部、４０ｂ  直線判定部、４１  融合領域広がり度判定部、
５０  ３次元位置姿勢演算部、７０、７０Ａ  直線状明領域抽出部、８０  ネジ、
８１  部品群、
１０１，１０２  位置姿勢認識装置、１１１，１１２  明領域、
１２１，１２２  直線、１５０  ロボット、
２０１  部品ピッキングシステム。
【図１】
0004959520.tif 000002
【図４】
0004959520.tif 000003
【図５】
0004959520.tif 000004
【図６】
0004959520.tif 000005
【図７】
0004959520.tif 000006
【図２】
0004959520.tif 000007
【図３】
0004959520.tif 000008