(57)【要約】【課題】複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供する。【解決手段】準備工程では、１個のワークピースＷを複数の角度から撮影して、撮影された画像をパッチに分割して複数のサンプルパッチ画像を得て、このサンプルパッチ画像を分類し、各サンプルパッチ画像毎にワークピースＷの位置情報及び姿勢情報を対応させて保存する。画像認識工程では、山積みのワークピースＷを撮影して、撮影された画像を分割したパッチ画像を分類し、同じ分類のサンプルパッチ画像に対応したワークピースＷの位置情報及び姿勢情報を集積した結果に基いて、ワークピースＷの位置及び姿勢を推定する。ワークピースＷの被覆部は、その位置情報及び姿勢情報に集積されたパッチ画像に基いて推定する。【選択図】図５
2014194735.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、
１個のワークピースを複数の角度から撮影し、撮影された画像をパッチに分割して複数のサンプルパッチ画像を得る工程、
前記複数のサンプルパッチ画像を分類する工程、及び、
複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを対応させて保存する工程からなる準備工程と、
複数の前記ワークピースを撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、
前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を分類する分類工程と、
前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを集積する集積工程と、
前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程と、
前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基いて推定する被覆部推定工程とを含むことを特徴とする画像認識方法。
【請求項２】
前記撮像工程において複数台の撮像装置で撮像し、
前記複数台の撮像装置でそれぞれ撮像した画像に対して、前記撮像工程、分類工程、前記集積工程及び前記ワークピース推定工程において処理を行い、
前記複数台の撮像装置の離間距離及び焦点距離と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの基準位置の前記複数台の撮像装置間における視差とに基いて、前記複数台の撮像装置から前記ワークピースまでの距離を求める距離検出工程をさらに備えることを特徴とする請求項１に記載の画像認識方法。
【請求項３】
前記複数台の撮像装置でそれぞれ撮像した画像に対して、座標系を整合する座標系整合工程を備え、
前記集積工程において、前記座標系整合工程で座標系を整合した前記位置情報と前記姿勢情報を集積し、
前記ワークピース推定工程において、前記集積工程での集積結果に基いて、前記複数台の撮像装置でそれぞれ撮像した画像間で、前記位置情報及び前記姿勢情報が一致するか否かを判定し、一致すると判定した場合、前記ワークピースは前記位置情報が示す基準位置で前記姿勢情報が示す姿勢で存在するとみなすことを特徴とする請求項２に記載の画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識方法に関する。
【背景技術】
【０００２】
バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、ＣＣＤカメラからの２次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。
【０００３】
なお、特許文献１には、パターンマッチングを行って、人の顔を検出する方法が記載されている。この方法では、まず、低精度の第１のパターンマッチング処理を行って画像から人の顔である可能性が高い大きさの領域を抽出し、抽出された領域までの距離を測定する。そして、測定された距離情報を用いて、抽出された領域の画像に対して高精度の第２のパターンマッチング処理を行う。これにより、高精度のパターンマッチング処理を行う領域が限定できるので、計算処理量を低減することが可能となる。
【０００４】
また、特許文献２には、パターンマッチングを行って、車両前方の物体を認識敷する方法が記載されている。この方法では、まず、左カメラで撮像した画像からエッジを検出する。そして、検出したエッジを含む参照パターンを左カメラで撮像した画像から抽出し、この参照パターンと左カメラで撮像した画像とに対して、パターンマッチング処理を行う。これにより、パターンマッチング処理を行う領域が限定できるので、計算処理量を低減することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３６２７６号公報
【特許文献２】特開２００１−１０１４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができない場合があり、ワークピースの正確な位置及び姿勢の特定ができないことがあった。
【０００７】
また、同一形状のワークピースが複雑に重なり合った状態の撮像画像に対しては、上記特許文献１，２に記載された方法を適用してパターンマッチング処理を行う領域を限定することで、計算処理量を低減することはできない。
【０００８】
本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、１個のワークピースを複数の角度から撮影し、撮影された画像をパッチに分割して複数のサンプルパッチ画像を得る工程、前記複数のサンプルパッチ画像を分類する工程、及び、複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを対応させて保存する工程からなる準備工程と、複数の前記ワークピースを撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を分類する分類工程と、前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基いて推定する被覆部推定工程とを含むことを特徴とする。
【００１０】
本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。
【００１１】
このように、本発明では、不整列な複数のワークピースを撮像した画像を分割したパッチ画像と同じ分類のサンプルパッチ画像に対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。
【００１２】
また、集積が低くワークピースの一部が被覆されていると推定される場合、被覆部推定工程では、このワークピースを示す位置情報及び姿勢情報に集積されたパッチ画像を逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。
【００１３】
本発明において、前記撮像工程において複数台の撮像装置で撮像し、前記複数台の撮像装置でそれぞれ撮像した画像に対して、前記撮像工程、前記分類工程、前記集積工程及び前記ワークピース推定工程において処理を行い、前記複数台の撮像装置の離間距離及び焦点距離と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの基準位置の前記複数台の撮像装置間における視差とに基いて、前記撮像装置から前記ワークピースの基準位置までの距離を求める距離検出工程をさらに備えることが好ましい。
【００１４】
この場合、距離検出工程で距離を求めるワークピースの基準位置の位置及び姿勢は予めワークピース推定工程で推定されているので、距離検出工程において、複数台の撮像装置で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。また、距離検出工程において、複数台の撮像装置で撮像した画像を用いたステレオ画像処理を行うので、高精度に距離を求めることが可能となる。
【００１５】
本発明において、前記複数台の撮像装置でそれぞれ撮像した画像に対して、座標系を整合する座標系整合工程を備え、前記集積工程において、前記座標系整合工程で座標系を整合した前記位置情報と前記姿勢情報を集積し、前記ワークピース推定工程において、前記集積工程での集積結果に基いて、前記複数台の撮像装置でそれぞれ撮像した画像間で、前記位置情報及び前記姿勢情報が一致するか否かを判定し、一致すると判定した場合、前記ワークピースは前記位置情報が示す基準位置で前記姿勢情報が示す姿勢で存在するとみなすことも好ましい。
【００１６】
この場合、距離検出工程における対応点をワークピースの基準位置とすることができ、撮像装置からワークピースの基準位置までの距離を求める距離を高精度且つ簡易に求めることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】サンプルデータ取得装置の構成を示す図。
【図２】（ａ）は、サンプル画像をパッチに分割した状態を示す図であり、（ｂ）は、サンプルパッチ画像データベースの一部の一例を示す。
【図３】ワークピース位置姿勢認識装置を備えたピッキングアップ・システムの構成を示す図。
【図４】位置情報の集積結果に基いてワークピースの位置を推定する方法を示す説明図。
【図５】画像認識方法のフローチャート。
【図６】画像認識方法の一部した変形例を示すフローチャート。
【発明を実施するための形態】
【００１８】
本発明の実施形態における準備工程で使用するサンプルデータ取得装置１０について説明する。
【００１９】
図１に示すように、サンプルデータ取得装置１０は、ワークピースＷを既知の姿勢で設置することが可能な設置台１１と、設置台１１に設置された１個のワークピースＷを上方から撮像する撮像装置１２と、設置台１１又は撮像装置１２の姿勢を制御する制御部１３とを備える。
【００２０】
設置台１１は、例えば、回転ステージであり、制御部１３によって回転制御可能に構成されている。撮像装置１２は、ここでは、１台のＣＣＤカメラであり二次元撮像画像のデータを生成する。撮像装置１２は、図示しない支柱や天井などに支持されて設置台１１の上方に配置されている。
【００２１】
制御部１３によって設置台１１又は撮像装置１２の姿勢を制御して、また、必要に応じて設置台１１に設置されたワークピースＷを裏返して、撮像装置１２に様々な姿勢のワークピースＷを撮像させる。
【００２２】
撮像装置１２でワークピースＷを球状に包み込んだあらゆる方向から撮像した画像をサンプル画像として得る。ただし、連続的に全ての方向からワークピースＷを撮像したサンプル画像を得ることは現実的には不可能であるので、ある程度の小さな角度刻みで撮像方向を変えたワークピースＷの代表姿勢のサンプル画像を得ることになる。
【００２３】
サンプルデータ取得装置１０は、さらに、画像処理部１４、画像分割部１５、及びタグ付与部１６を備え、記憶装置２０に接続されている。
【００２４】
画像処理部１４は、撮像装置１２で撮像された各サンプル画像に所定の処理を行い、各サンプル画像を撮像時のワークピースＷの姿勢情報と対応付けて記憶装置２０に保存する。
【００２５】
なお、図２（ａ）に示すように、ワークピースＷに、１点の基準位置Ｏ、及び１つの基準姿勢（基準方向）を予め定めておく。基準位置Ｏは、例えば、ワークピースＷの重心、ワークピースＷに形成された穴の中心などに設定すればよい。そして、各サンプル画像に対応付ける姿勢情報は、基準姿勢を基準とした、サンプル画像の撮像時におけるワークピースＷの姿勢の方向ずれを示す情報である。なお、姿勢情報を得るために、ワークピースＷをその付近に位置させたチェッカーパターンと共に、撮像装置１２で撮像してもよい。
【００２６】
画像分割部１５は、各サンプル画像をそれぞれパッチ（小領域）に分割して、複数のサンプルパッチ画像を得る処理を行う。パッチは、例えば、予め定められた画素数×画素数分の長方形又は正方形の領域である。
【００２７】
タグ付与部１６は、画像分割部１５で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチ画像に係る部分のワークピースＷの基準位置Ｏに対する相対座標情報（例えば、ＸＹＺ軸座標）である。姿勢情報は、位置関係情報と同様に、サンプルパッチ画像に係る部分のワークピースＷの基準角度に対する相対角度情報であり、例えばＲｘ，Ｒｙ、Ｒｚの３軸回りの回転角度、あるいは３×３の回転行列である。
【００２８】
サンプルパッチ画像によっては、ワークピースＷの基準位置Ｏまでの関係が一義的に求まらない場合と、求まる場合とがあるため、タグ付与部１６は、信頼度情報として重み付け係数を付与する。
【００２９】
例えば、図２（ａ）を参照して、ワークピースＷの側辺部の一部を撮像したサンプルパッチ画像では、具体的に側辺部のどの領域を撮像した画像であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチ画像がワークピースＷの２つの部分の何れか一方を特定の方向から撮像したものであることが分かる場合、信頼度は５０％であるので、このサンプルパッチ画像に付与する重み付け係数は０．５とする。一方、ワークピースＷの角部などの特徴部分を特定の方向から撮像して得られたサンプルパッチ画像では、基準位置Ｏ及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を１．０とする。
【００３０】
さらに、タグ付与部１６は、サンプルパッチ画像を、該サンプルパッチ画像を構成する各画素（ピクセル）の輝度を順々に予め定めた閾値と比較する条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部１６は、サンプルパッチ画像毎に、分類に応じた番号付けしてラベリングを行う。
【００３１】
具体的には、タグ付与部１６は、例えば、左上の画素を起点として予め定められた順序に沿って各画素の輝度が閾値以上の場合には「０」、閾値未満の場合には「１」として、仕分けする。これにより、各サンプルパッチ画像に対して「１００１０１・・・」などの数列が求まる。そして、この数列順にサンプルパッチ画像を並び代えて、各サンプルパッチ画像に番号を付与する。
【００３２】
また、ある特定アドレスの画素の輝度と、他の特定アドレスの画素の輝度とを比較して、ある特定アドレス画素の輝度が、他の特定アドレスの画素の輝度以上である場合には「０」、未満である場合には「１」として、比較する画素を順次適宜選択して「００１１０１・・・」などの数列を求め、この数列を前段落で述べた数列に追加してもよい。このように、数列を求めるための質問は、正否で回答され、その回答を０，１の２値に分類できるものであればよい。
【００３３】
このように二分木法を用いて仕分けすることで、膨大な数に及ぶパッチサンプル画像の分類を単純な２進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチ画像から特徴パラメータを抽出するなどの周知の任意の画像分類方法で分類してもよい。
【００３４】
そして、タグ付与部１６は、図２（ｂ）に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置２０に保存する。
【００３５】
次に、本発明の実施形態における画像認識方法で使用するワークピース位置姿勢認識装置３０を備えたピッキングアップ・システム４０について説明する。
【００３６】
図３に示すように、ワークピース位置姿勢認識装置３０は、ホッパ（貯留槽）４１内に山積みされたワークピースＷの基準位置、姿勢及び距離を求める装置である。ここでは、ワークピースＷは同一形状であり、ホッパ４１内に３次元的に任意の位置及び姿勢で多数山積みされている。そして、ワークピース位置姿勢認識装置３０は、山積みされたワークピースＷのうち、最上部付近に位置し、ピックアップされるに適したワークピースＷを決定する。
【００３７】
なお、本ワークピース位置姿勢認識装置３０は、ワークピースＷが乱雑に山積みされている場合に限らず、ワークピースＷが整列して配置されている場合でも、同様に適用可能である。
【００３８】
ピッキングアップ・システム４０は、ワークピース位置姿勢認識装置３０から供給されるワークピースＷの基準位置Ｏ、姿勢、及び距離に応じて、ワークピースＷを一つずつピックアップするロボット４２を備える。ロボット４２は、アーム４３と、アーム４３のエンドエフェクタであるハンド４４と、アーム４３及びハンド４４の動作を制御するロボット制御部４５とを備える。
【００３９】
ロボット制御部４５は、ワークピース位置姿勢認識装置３０から供給された、ピックアップすべきワークピースＷの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースＷをハンド４４でピックアップするように、アーム４３及びハンド４４を制御する。
【００４０】
ピッキングアップ・システム４０は、さらに、ホッパ４１内に山積みされたワークピースＷを上方から撮像する１台もしくは複数台の撮像装置４６を備える。撮像装置４６は、例えば２台のＣＣＤカメラであり、それぞれ別の角度からの二次元撮像画像を生成する。２台の撮像装置４６は、図示しない支柱や天井などに支持され、離間してホッパ４１の上方に配置されている。２台の撮像装置４６は、山積みされたワークピースＷを重複して撮像する。
【００４１】
ワークピース位置姿勢認識装置３０は、画像処理部３１、画像分割部３２、対応サンプルパッチ画像分類部３３、集積部３４、ワークピース推定部３５、被覆部推定部３６、実ワークピース決定部３７、及びピックアップ決定部３８を備え、記憶装置２０に接続されている。
【００４２】
画像処理部３１は、２台の撮像装置４６により撮影された画像を取り込み、所定の処理を行った画像データを記憶装置２０に格納する。
【００４３】
画像分割部３２は、画像処理部３１で処理された画像を複数のパッチ（小領域）に分割して、複数のパッチ画像を得る処理を行う。このパッチは、前記サンプルデータ取得装置１０の画像分割部１５でサンプル画像が分割されたパッチと同じ画素数×画素数からなる領域である。ここでは、画像分割部３２で分割されたパッチの縮尺が、サンプルデータ取得装置１０の画像分割部１５で分割されたパッチの縮尺とほぼ同じになるように調整する。
【００４４】
対応サンプルパッチ画像分類部３３は、画像分割部３２で分割された各パッチ画像が、画像分割部１５で分割されたサンプルパッチ画像の何れに最も類似するかを、記憶装置２０に格納されたサンプルパッチ画像データベースから探索する。
【００４５】
ここでは、対応サンプルパッチ画像分類部３３は、前述したタグ付与部１６で求めた数列と同じ方法で画像分割部３２で分割された各パッチ画像に対応する数列を求める。対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が一致するサンプルパッチ画像を探索する。
【００４６】
対応サンプルパッチ画像分類部３３は、タグ付与部１６と同様に二分木法で数列を求め、求めた数列をタグ付与部１６で付与した数列と対比するので、短時間で一致するサンプルパッチ画像を探索することが可能となる。
【００４７】
そして、対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が全て一致するサンプルパッチ画像、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチ画像を、最も類似するサンプルパッチ画像とする。なお、２つのワークピースＷが重なり合って、パッチ画像に分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチ画像は存在しない。
【００４８】
対応サンプルパッチ画像分類部３３は、パッチ画像に最も類似するサンプルパッチ画像を、当該パッチ画像に対応するサンプルパッチ画像として分類する。
【００４９】
集積部３４は、それぞれのパッチ画像により最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。
【００５０】
詳細には、集積部３４は、２台の撮像装置４６で撮像した画像を分割して得た全てのパッチ画像にそれぞれ対応する、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ画像に対応して保存されている基準位置情報毎に、重み付け係数の総和値（以下、この総和値を「得点」という）を算出する。
【００５１】
ワークピース推定部３５は、図４に示すように、集積部３４で集積された得点に基いて、ワークピースＷの基準位置Ｏを推定する。相対的にホッパ４１の下方に存在するワークピースＷは、上方のワークピースＷに一部又は全部が隠される。そのため、下方に存在するワークピースＷの基準位置Ｏは、高い得点を得ることができず、最上部に位置するワークピースＷほど、基準位置Ｏが高い得点を得ることができる。
【００５２】
よって、高得点を得た基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢にあるワークピースＷは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部３５は、集積部３４で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢（これらを合せて、「推定位置姿勢」という）にあるであろうと推定されるワークピースＷを選出する。選出されたワークピースＷは、全て露出しているものも、一部が露出していないものも含まれるように、前記閾値を設定する。
【００５３】
なお、図４では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したいワークピースＷの個数のみに絞って探索をかけることができるので、高速な検出が可能となる。例えば、３個のワークピースＷを検出したい場合には、得点集積が高い上位３つからのみ推定位置姿勢を算出すればよい。
【００５４】
ところで、集積部３４で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースＷは少なくとも一部が他のワークピースＷ等によって被覆されていると考えられる。選定されたワークピースＷの被覆部（非露出部）がロボット４２のピックアップ部位（把持部位）である場合、このワークピースＷはロボット４２でピックアップできない。よって、ワークピースＷの被覆部を特定することが望ましい。
【００５５】
そこで、被覆部推定部３６は、記憶装置２０に保存されたサンプル画像データを再度利用して、ワークピースＷが推定位置姿勢にあるときのワークピースＷの形状（どの場所のパッチ画像から構成されているべきか）から、実際に重み付け係数を集積したパッチ画像の集合を差し引いた領域を、被覆部と推定する。
【００５６】
例えば、ワークピース推定部３５で推定されたワークピースＷの位置姿勢が、サンプルパッチＡ，Ｂ，Ｃ，Ｄ，Ｅからなる位置姿勢であるとすると、撮像装置４６で撮影されているワークピースＷにおいてもＡ，Ｂ，Ｃ，Ｄ，Ｅの箇所のパッチ画像から基準位置情報が集積されることが期待される。しかし、例えば、サンプルパッチＢに対応するパッチ画像の領域から、ワークピースＷの基準位置Ｏを基準位置情報として重み付け係数を集積していなければ、Ｂの領域は被覆していると推定する。
【００５７】
実際に山積みとなっているワークピースＷの姿勢は任意であるため、サンプル画像を撮像した姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースＷの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースＷの姿勢とは少し異なる場合がある。そのため、ワークピース推定部３５で選定されたワークピースＷの推定位置姿勢が実際位置姿勢と異なり、ロボット４２でのピックアップに影響が生じるおそれがある。
【００５８】
そこで、実ワークピース決定部３７は、ワークピース推定部３５で選出したワークピースＷの実際の基準位置Ｏ及び姿勢（これらを合せて、「実際位置姿勢」という）を、実際のワークピースＷを２台の撮像装置４６で撮像した画像をステレオ画像処理することによって求める。ただし、ワークピース推定部３５で選出したワークピースＷの実際位置姿勢を高精度で求める必要がない場合には、実ワークピース決定部３７を省略してもよい。
【００５９】
実ワークピース決定部３７は、具体的には、２台の撮像装置４６が撮像した画像から推定位置姿勢に基準位置Ｏの位置、姿勢が近似するワークピースＷを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースＷ全体の輪郭線を求める。
【００６０】
このとき、画像処理を行うべきワークピースＷの基準位置Ｏの位置及び姿勢は予め推定されているので、２台の撮像装置４６で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。
【００６１】
また、実ワークピース決定部３７は、ワークピースＷまでの距離（図３における垂直方向位置）を求める。撮像装置４６から対応点（ワークピースＷの基準位置Ｏ）までの距離Ｚは、２台の撮像装置４６間の距離Ｌ、撮像装置４６の焦点距離ｆ、２台の撮像装置４６間の対応点の視差（ずれ量）ｄから、次式（１）によって求めることができる。
【００６２】
Ｚ＝Ｌ×ｆ／ｄ  ・・・  （１）
これにより、ロボット４２で選定したワークピースＷをピックアップすることが可能となる。
【００６３】
なお、実ワークピース決定部３７で、実際のワークピースＷを２台の撮像装置４６で撮像した画像からワークピースＷの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部３７は、被覆部推定部３６で被覆部がピックアップ部位でないと推定されたワークピースＷに対してのみ実際位置姿勢を求めればよい。
【００６４】
ピックアップ決定部３８は、実ワークピース決定部３７で求めた実際のワークピースＷの実際位置姿勢及び距離に基いて、ロボット４２での取り出しに適しているワークピースＷを決定する。そして、決定したワークピースＷの実際位置姿勢及び距離を示す情報をロボット制御部４５に送信する。取り出すワークピースＷの決定手法は特に問わないが、例えばピックアップする際のロボット４２の制御が容易であるワークピースＷ、あるいは、ピックアップ後に裏返し等が必要ないワークピースＷを選択すればよい。
【００６５】
以下、図５を参照して、本発明の実施形態における画像認識方法について説明する。
【００６６】
まず、上述したサンプルデータ取得装置１０を用いて、準備工程を行う（Ｓ１０）。
【００６７】
この準備工程では、最初に、１個のワークピースＷを設置台１１に設置する。そして、制御部１３で設置台１１を回転等させながら、様々な角度からワークピースＷを撮像装置１２で撮像する（Ｓ１１）。
【００６８】
そして、画像処理部１４は、撮像したサンプル画像を撮像したワークピースＷの姿勢情報と対応付けて記憶装置２０に保存する（Ｓ１２）。
【００６９】
次に、画像分割部１５は、各サンプル画像をそれぞれパッチに分割して、複数のサンプルパッチ画像を得る（Ｓ１３）。
【００７０】
次に、タグ付与部１６は、Ｓ１３で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部１６は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置２０に保存する（Ｓ１４）。
【００７１】
そして、準備工程完了後に、上述したピッキングアップ・システム４０を用いて、ワークピースＷの画像認識工程（Ｓ２０）を行う。
【００７２】
この画像認識工程では、最初に、ホッパ４１の上方から、ランダムに山積みされたワークピースＷを２台の撮像装置４６で撮像する（Ｓ２１）。このＳ２１が本発明の撮像工程に相当する。
【００７３】
そして、画像処理部３１は、２台の撮像装置４６により撮影された画像データを記憶装置２０に格納する（Ｓ２２）。
【００７４】
次に、画像分割部３２は、Ｓ２２で処理された画像を複数のパッチに分割に分割して、複数のパッチ画像を得る（Ｓ２３）。
【００７５】
次に、対応サンプルパッチ画像分類部３３は、Ｓ２３で分割された各パッチ画像が、Ｓ１３で分割されたサンプルパッチ画像の何れに最も類似するかを記憶装置２０に格納されたサンプルパッチ画像データベースから探索する。この探索結果に基いて各パッチ画像を分類する（Ｓ２４）。このＳ２４が、本発明の分類工程に相当する。
【００７６】
次に、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ２５）。この得点は、各撮像装置４６で撮影した画像データ毎に集計する。Ｓ２５が本発明の集積工程に相当する。
【００７７】
次に、ワークピース推定部３５は、各撮像装置４６で撮影した画像データ毎に、Ｓ２５で集積された得点が前記閾値を超えるワークピースＷを選定する（Ｓ２６）。
【００７８】
そして、ワークピース推定部３５は、撮像した撮像装置４６に応じて座標系を変換して、Ｓ２６で選定したワークピースＷの基準位置Ｏ及び姿勢が、各撮像装置４６で撮影した画像データ間で一致するか否かを判定する（Ｓ２７）。ワークピース推定部３５は、一致すると判定した場合、選定したワークピースＷが実際にその基準位置Ｏ及び姿勢に存在するとみなす（Ｓ２８）。Ｓ２６〜Ｓ２８が、本発明のワークピース推定工程に相当する。
【００７９】
次に、被覆部推定部３６は、Ｓ２８で実際に存在するとみなされたワークピースＷのうち、得点が低いワークピースＷの被覆部を推定する（Ｓ２９）。このＳ２９が本発明の被覆部推定工程に相当する。
【００８０】
次に、実ワークピース決定部３７は、２台の撮像装置４６で撮像した基準位置Ｏの視差から、上記式（１）に基づいて、このワークピースＷの実際の距離を求める（Ｓ３０）。このＳ３０が本発明の距離検出工程に相当する。
【００８１】
そして、ピックアップ決定部３８は、Ｓ２８及びＳ２９で求めた実際のワークピースＷの基準位置Ｏ、姿勢及び距離から、ロボット４２での取り出しに適しているワークピースＷを決定する（Ｓ３１）。ただし、ワークピースＷの位置姿勢を高精度で求める必要がない場合には、Ｓ２７及びＳ２８を省略して、Ｓ２６で推定した位置姿勢をワークピースＷの位置姿勢としてもよい。
【００８２】
そして、最後に、ロボット４２を用いて、Ｓ３１で決定したワークピースＷをピックアップするピックアップ工程（Ｓ３２）を行う。
【００８３】
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。
【００８４】
例えば、上述した画像認識方法では、選定したワークピースＷの基準位置Ｏ及び姿勢を各撮像装置４６で撮影した画像データ間で一致するか否かを判定することによって（Ｓ２７）、そのワークピースＷの実際の距離を求めている（Ｓ３０）。しかし、ワークピースＷの実際の距離を求める方法はこれに限定されない。例えば、図６を参照して以下に説明する画像認識方法であってもよい。
【００８５】
Ｓ２４の工程の後、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた姿勢情報に対して、２つの撮像装置４６の座標系を基準となる単一の座標系に整合するために、撮像した撮像装置４６に応じて座標系を変換する（Ｓ４１）。このＳ４１が本発明の座標系整合工程に相当する。
【００８６】
そして、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報及び座標変換後の姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ４２）。この得点は、各撮像装置４６で撮影した画像データを合わせて集計する。Ｓ４２が本発明の集積工程に相当する。
【００８７】
次に、ワークピース推定部３５は、Ｓ４２で集積された得点が予め設定された閾値を超えるワークピースＷを選定する（Ｓ４３）。
【００８８】
そして、ワークピース推定部３５は、Ｓ４３で選定したワークピースＷの基準位置Ｏ及び姿勢が、各撮像装置４６で撮影した画像データ間で一致するか否かを判定する（Ｓ４４）。具体的には各撮像装置４６で撮影した画像データごとに集積した基準位置情報および姿勢情報の成分値（図２（ｂ）参照）を比較して一致するかどうかを判定する。
【００８９】
ワークピース推定部３５は、各成分値が一致すると判定した場合、選定したワークピースＷが各撮像装置４６で撮像されており、実際にその基準位置Ｏ及び姿勢に存在するとみなす（Ｓ４５）。Ｓ４３〜Ｓ４５が、本発明のワークピース推定工程に相当する。
【００９０】
その後、Ｓ２９〜Ｓ３２の工程を行う。
【符号の説明】
【００９１】
１０…サンプルデータ取得装置、  １１…設置台、  １２…撮像装置、  １３…制御部、  １４…画像処理部、  １５…画像分割部、  １６…タグ付与部、  ２０…記憶装置、  ３０…ワークピース位置姿勢認識装置、  ３１…画像処理部、  ３２…画像分割部、  ３３…対応サンプルパッチ画像分類部、  ３４…集積部、  ３５…ワークピース推定部、  ３６…被覆部推定部、  ３７…実ワークピース決定部、  ３８…ピックアップ決定部、  ４０…ピッキングアップ・システム、  ４１…ホッパ、  ４２…ロボット、  ４３…アーム、  ４４…ハンド、  ４６…撮像装置、  Ｗ…ワークピース。
【図１】
2014194735.tif 000003
【図５】
2014194735.tif 000004
【図２】
2014194735.tif 000005
【図３】
2014194735.tif 000006
【図４】
2014194735.tif 000007
【図６】
2014194735.tif 000008