(57)【要約】【課題】複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供する。【解決手段】準備工程では、撮像装置１２でワークピースＷを実際に撮像して得られたサンプル実画像と、実際の撮像方向と同じ方向からワークピースＷの３次元形状モデルを撮像装置１２で撮像したときに得られると想定されるサンプル基準想定画像とを対応付け、サンプル基準想定画像におけるポリゴンメッシュ毎に、サンプル実画像の輝度を対応付ける。ワークピースＷの３次元形状モデルを撮像装置１２で撮像したと想定されるサンプル想定画像に対して、そのポリゴンメッシュ毎に仮想の輝度を求める。サンプル想定画像をパッチに分割したサンプルパッチ画像を仮想の輝度に基づいて分類する。サンプルパッチ画像毎に、ワークピースＷの位置情報と姿勢情報とを対応させて保存する。【選択図】図５
2014174628.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、
前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、
撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、
前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、
前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、
前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、
前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、
前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、
複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、
前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、
前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、
前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする画像認識方法。
【請求項２】
前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基づいて推定する被覆部推定工程をさらに含むことを特徴とする請求項１に記載の画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識方法に関する。
【背景技術】
【０００２】
バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、ＣＣＤカメラからの２次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。
【０００３】
例えば、特許文献１には、パターンマッチングを用いて、バラ積みされたワークピースの位置及び姿勢を検出する方法が記載されている。この方法では、まず、バラ積みされたワークピースを２次元ＣＣＤカメラで撮像した画像を、予め複数の方向から撮像したワークピースの輪郭形状とマッチングさせて、ワークピースとＣＣＤカメラとの相対姿勢を求める。そして、求めた相対姿勢に基づいて、対象とするワークピースの特徴を明確に捕らえることができる位置姿勢に移動させた３次元視覚センサでワークピースの位置姿勢を計測する。これにより、ワークピースの位置姿勢を正確に計測することができる。
【０００４】
また、特許文献２には、ワークピースの撮影画像をアイコン（パッチ）に分割して、各アイコンの相対位置関係をタグ付けすることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７１７７４５９号公報
【特許文献２】米国特許第８１５０１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができず、ワークピースの正確な位置及び姿勢の特定ができない場合があった。
【０００７】
本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする。
【０００９】
本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。
【００１０】
このように、本発明では、複数のワークピースを撮像した画像を分割したパッチ画像と同じ分類のサンプルパッチ画像に対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。
【００１１】
また、ワークピースを撮像手段で実際に撮像して得られたサンプル実画像と、ワークピースの３次元形状モデルから求めたサンプル基準想定画像とを対応付けて、サンプル基準想定画像の仮想の輝度を求めたうえで、ワークピースの３次元形状モデルからサンプル想定画像を求めている。よって、ワークピースを撮像手段で実際に多数の方向から撮像してサンプル画像を得る必要がないので、準備工程が簡素なものとなる。
【００１２】
本発明において、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基づいて推定する被覆部推定工程をさらに含むことが好ましい。
【００１３】
この場合、集積が低くワークピースの一部が被覆されていると推定されるとき、被覆部推定工程で、このワークピースを示す位置情報及び姿勢情報に集積されたパッチ画像を逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。
【図面の簡単な説明】
【００１４】
【図１】サンプルデータ取得装置の構成を示す図である。
【図２】（ａ）は、サンプル画像をパッチに分割した状態を示す図であり、（ｂ）は、サンプルパッチ画像データベースの一部の一例を示す。
【図３】ワークピース位置姿勢認識装置を備えたピッキングアップ・システムの構成を示す図である。
【図４】位置情報の集積結果に基いてワークピースの位置を推定する方法を示す説明図である。
【図５】画像認識方法のフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の実施形態における準備工程で使用するサンプルデータ取得装置１０について説明する。
【００１６】
図１に示すように、サンプルデータ取得装置１０は、ワークピースＷを既知の姿勢で設置することが可能な設置台１１と、設置台１１に設置された１個のワークピースＷを上方から撮像する撮像装置１２と、設置台１１又は撮像装置１２の姿勢を制御する制御部１３とを備える。
【００１７】
設置台１１は、例えば、回転ステージであり、制御部１３によって回転制御可能に構成されている。撮像装置１２は、ここでは、１台のＣＣＤカメラであり二次元撮像画像のデータを生成する。撮像装置１２は、図示しない支柱や天井などに支持されて設置台１１の上方に配置されている。
【００１８】
制御部１３によって設置台１１又は撮像装置１２の姿勢を制御して、また、必要に応じて設置台１１に設置されたワークピースＷを裏返して、撮像装置１２にワークピースＷを撮像させる。
【００１９】
サンプルデータ取得装置１０は、さらに、サンプル実画像生成部２１、ポリゴンメッシュ生成部２２、サンプル基準想定画像生成部２３、サンプル画像対応付け部２４、サンプル想定画像生成部２５、画像分割部２６、及び、タグ付与部２７を備え、記憶装置１４に接続されている。
【００２０】
サンプル実画像生成部２１は、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像させて、サンプル実画像データを得る。特定の方向とは、例えば、上、下、右、左、前、後の６方向である。得られたサンプル実画像データは、撮像時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。
【００２１】
なお、図２（ａ）に示すように、ワークピースＷに、１点の基準位置Ｏ、及び１つの基準姿勢（基準方向）を予め定めておく。基準位置Ｏは、例えば、ワークピースＷの重心、ワークピースＷに形成された穴の中心などに設定すればよい。そして、各サンプル実画像データに対応付ける姿勢情報は、基準姿勢を基準とした、サンプル実画像の撮像時におけるワークピースＷの姿勢の方向ずれを示す情報である。なお、姿勢情報を得るために、ワークピースＷをその付近に位置させたチェッカーパターンと共に、撮像装置１２で撮像してもよい。
【００２２】
ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する。３次元ＣＡＤデータは、例えばワークピースＷの設計データであり、記憶装置１４に予め記憶されている。３次元ＣＡＤデータからポリゴンメッシュを生成する手法は特に限定されず、周知の手法で行えばよく、市販のソフトウェアを利用してもよい。
【００２３】
サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する。
【００２４】
具体的には、サンプル基準想定画像生成部２３は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、ワークピースＷの３次元形状モデルを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル基準想定画像データを生成する。サンプル基準想定画像生成部２３で生成されたサンプル基準想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。
【００２５】
サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像データとサンプル基準想定画像データとの対応付けを行う。具体的には、サンプル画像対応付け部２４は、サンプル実画像及びサンプル基準想定画像から輪郭線等を抽出し、抽出した輪郭線等を対応付けすることによって対応付けを行う。
【００２６】
サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面に対応するサンプル実画像の面における輝度を対応付ける。
【００２７】
サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する。
【００２８】
具体的には、サンプル想定画像生成部２５は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、３次元形状モデルからワークピースＷを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル想定画像データを生成する。サンプル想定画像生成部２５で生成されたサンプル想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。
【００２９】
画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチ（小領域）に分割して、複数のサンプルパッチ画像を得る処理を行う。パッチは、例えば、予め定められた画素数×画素数分の長方形又は正方形の領域である。
【００３０】
タグ付与部２７は、画像分割部２６で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチ画像に係る部分のワークピースＷの基準位置Ｏに対する相対座標情報（例えば、ＸＹＺ軸座標）である。姿勢情報は、位置関係情報と同様に、サンプルパッチ画像に係る部分のワークピースＷの基準角度に対する相対角度情報であり、例えばＲｘ，Ｒｙ、Ｒｚの３軸回りの回転角度、あるいは３×３の回転行列である。
【００３１】
サンプルパッチ画像によっては、ワークピースＷの基準位置Ｏまでの関係が一義的に求まらない場合と求まる場合とがあるため、タグ付与部２７は、信頼度情報として重み付け係数を付与する。
【００３２】
例えば、図２（ａ）を参照して、ワークピースＷの側辺部の一部を撮像したサンプルパッチ画像では、具体的に側辺部のどの領域を撮像した画像であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチ画像がワークピースＷの２つの部分の何れか一方を特定の方向から撮像したものであることが分かる場合、信頼度は５０％であるので、このサンプルパッチ画像に付与する重み付け係数は０．５とする。一方、ワークピースＷの角部などの特徴部分を特定の方向から撮像して得られたサンプルパッチ画像では、基準位置Ｏ及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を１．０とする。
【００３３】
さらに、タグ付与部２７は、サンプルパッチ画像を、該サンプルパッチ画像を構成する各画素（ピクセル）の輝度を順々に予め定めた閾値と比較する条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部２７は、サンプルパッチ画像毎に、分類に応じた番号付けしてラベリングを行う。
【００３４】
具体的には、タグ付与部２７は、例えば、左上の画素を起点として予め定められた順序に沿って各画素の輝度が閾値以上の場合には「０」、閾値未満の場合には「１」として、仕分けする。これにより、各サンプルパッチ画像に対して「１００１０１・・・」などの数列が求まる。そして、この数列順にサンプルパッチ画像を並び代えて、各サンプルパッチ画像に番号を付与する。
【００３５】
また、ある特定アドレスの画素の輝度と、他の特定アドレスの画素の輝度とを比較して、ある特定アドレス画素の輝度が、他の特定アドレスの画素の輝度以上である場合には「０」、未満である場合には「１」として、比較する画素を順次適宜選択して「００１１０１・・・」などの数列を求め、この数列を前段落で述べた数列に追加してもよい。このように、数列を求めるための質問は、正否で回答され、その回答を０，１の２値に分類できるものであればよい。
【００３６】
このように二分木法を用いて仕分けすることで、膨大な数に及ぶパッチサンプル画像の分類を単純な２進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチ画像から特徴パラメータを抽出するなどの周知の任意の画像分類方法で分類してもよい。
【００３７】
そして、タグ付与部２７は、図２（ｂ）に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置１４に保存する。
【００３８】
次に、本発明の実施形態における画像認識方法で使用するワークピース位置姿勢認識装置３０を備えたピッキングアップ・システム４０について説明する。
【００３９】
図３に示すように、ワークピース位置姿勢認識装置３０は、ホッパ（貯留槽）４１内に山積みされたワークピースＷの基準位置、姿勢及び距離を求める装置である。ここでは、ワークピースＷは同一形状であり、ホッパ４１内に３次元的に任意の位置及び姿勢で多数山積みされている。
【００４０】
ワークピース位置姿勢認識装置３０は、山積みされたワークピースＷのうち、最上部付近に位置し、ピックアップされるに適したワークピースＷを決定する。なお、本ワークピース位置姿勢認識装置３０は、ワークピースＷが乱雑に山積みされている場合に限らず、ワークピースＷが整列して配置されている場合でも、同様に適用可能である。
【００４１】
ピッキングアップ・システム４０は、ワークピース位置姿勢認識装置３０から供給されるワークピースＷの基準位置Ｏ、姿勢及び距離に応じて、ワークピースＷを一つずつピックアップするロボット４２を備える。ロボット４２は、アーム４３と、アーム４３のエンドエフェクタであるハンド４４と、アーム４３及びハンド４４の動作を制御するロボット制御部４５とを備える。
【００４２】
ロボット制御部４５は、ワークピース位置姿勢認識装置３０から供給された、ピックアップすべきワークピースＷの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースＷをハンド４４でピックアップするように、アーム４３及びハンド４４を制御する。
【００４３】
ピッキングアップ・システム４０は、さらに、ホッパ４１内に山積みされたワークピースＷを上方から撮像する１台もしくは複数台の撮像装置４６を備える。撮像装置４６は、例えば２台のＣＣＤカメラであり、それぞれ別の角度からの二次元撮像画像を生成する。２台の撮像装置４６は、図示しない支柱や天井などに支持され、離間してホッパ４１の上方に配置されている。２台の撮像装置４６は、山積みされたワークピースＷを重複して撮像する。
【００４４】
ワークピース位置姿勢認識装置３０は、画像処理部３１、画像分割部３２、対応サンプルパッチ画像分類部３３、集積部３４、ワークピース推定部３５、被覆部推定部３６、実ワークピース決定部３７、及びピックアップ決定部３８を備え、記憶装置１４に接続されている。
【００４５】
画像処理部３１は、２台の撮像装置４６により撮影された画像を取り込み、所定の処理を行った画像データを記憶装置１４に格納する。
【００４６】
画像分割部３２は、画像処理部３１で処理された画像を複数のパッチ（小領域）に分割して、複数のパッチ画像を得る処理を行う。このパッチは、サンプルデータ取得装置１０の画像分割部２６でサンプル画像が分割されたパッチと同じ画素数×画素数からなる領域である。ここでは、画像分割部３２で分割されたパッチの縮尺が、サンプルデータ取得装置１０の画像分割部２６で分割されたパッチの縮尺とほぼ同じになるように調整する。
【００４７】
対応サンプルパッチ画像分類部３３は、画像分割部３２で分割された各パッチ画像が、画像分割部２６で分割されたサンプルパッチ画像の何れに最も類似するかを、記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。
【００４８】
ここでは、対応サンプルパッチ画像分類部３３は、前述したタグ付与部２７で求めた数列と同じ方法で画像分割部３２で分割された各パッチ画像に対応する数列を求める。対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が一致するサンプルパッチ画像を探索する。
【００４９】
対応サンプルパッチ画像分類部３３は、タグ付与部２７と同様に二分木法で数列を求め、求めた数列をタグ付与部２７で付与した数列と対比するので、短時間で一致するサンプルパッチ画像を探索することが可能となる。
【００５０】
そして、対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が全て一致するサンプルパッチ画像、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチ画像を、最も類似するサンプルパッチ画像とする。なお、２つのワークピースＷが重なり合って、パッチ画像に分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチ画像は存在しない。
【００５１】
対応サンプルパッチ画像分類部３３は、パッチ画像に最も類似するサンプルパッチ画像を、当該パッチ画像に対応するサンプルパッチ画像として分類する。
【００５２】
集積部３４は、それぞれのパッチ画像により最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。
【００５３】
詳細には、集積部３４は、２台の撮像装置４６で撮像した画像を分割して得た全てのパッチ画像にそれぞれ対応する、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ画像に対応して保存されている基準位置情報毎に、重み付け係数の総和値（以下、この総和値を「得点」という）を算出する。
【００５４】
ワークピース推定部３５は、図４に示すように、集積部３４で集積された得点に基づいて、ワークピースＷの基準位置Ｏを推定する。相対的にホッパ４１の下方に存在するワークピースＷは、上方のワークピースＷに一部又は全部が隠される。そのため、下方に存在するワークピースＷの基準位置Ｏは、高い得点を得ることができず、最上部に位置するワークピースＷほど、基準位置Ｏが高い得点を得ることができる。
【００５５】
よって、高得点を得た基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢にあるワークピースＷは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部３５は、集積部３４で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢（これらを合せて、「推定位置姿勢」という）にあるであろうと推定されるワークピースＷを選出する。前記閾値は、例えば、選出されたワークピースＷは、全て露出しているものも、一部が露出していないものも含まれるように設定する。
【００５６】
なお、図４では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したい部品数のみに絞って探索をかけることが可能となりより高速な検出が可能となる。例えば、３つ検出したい場合には、得点集積が高い上位３つからのみ推定位置姿勢を算出すればよい。
【００５７】
ところで、集積部３４で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースＷは少なくとも一部が他のワークピースＷ等によって被覆されていると考えられる。選定されたワークピースＷの被覆部（非露出部）がロボット４２のピックアップ部位（把持部位）である場合、このワークピースＷはロボット４２でピックアップできない。よって、ワークピースＷの被覆部を特定することが望ましい。
【００５８】
そこで、被覆部推定部３６は、記憶装置１４に保存されたサンプルパッチ画像データベースを再度利用して、ワークピースＷが推定位置姿勢にあるときのワークピースＷの形状（どの場所のパッチ画像から構成されているべきか）から、実際に重み付け係数を集積したパッチ画像の集合を差し引いた領域を、被覆部と推定する。
【００５９】
例えば、ワークピース推定部３５で推定された姿勢が、サンプルパッチＡ，Ｂ，Ｃ，Ｄ，Ｅからなる位置姿勢であるとすると、撮像装置４６で撮影されているワークピースＷにおいてもＡ，Ｂ，Ｃ，Ｄ，Ｅの箇所のパッチ画像から基準位置情報が集積されることが期待される。しかし、例えば、Ｂのサンプルパッチに対応するパッチ画像の領域から、ワークピースＷの基準位置Ｏを基準位置情報として重み付け係数を集積していなければ、Ｂの領域は被覆していると推定する。
【００６０】
実際に山積みとなっているワークピースＷの姿勢は任意であるため、サンプル画像を撮像した姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースＷの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースＷの姿勢とは少し異なる場合がある。そのため、ワークピース推定部３５で選定されたワークピースＷの推定位置姿勢が実際位置姿勢と異なり、ロボット４２でのピックアップに影響が生じるおそれがある。
【００６１】
そこで、実ワークピース決定部３７は、ワークピース推定部３５で選出したワークピースＷの実際の基準位置Ｏ及び姿勢（これらを合せて、「実際位置姿勢」という）を、実際のワークピースＷを２台の撮像装置４６で撮像した画像をステレオ画像処理することによって求める。
【００６２】
具体的には、実ワークピース決定部３７は、２台の撮像装置４６が撮像した画像から推定位置姿勢に基準位置Ｏの位置、姿勢が近似するワークピースＷを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースＷ全体の輪郭線を求める。
【００６３】
このとき、画像処理を行うべきワークピースＷの基準位置Ｏの位置及び姿勢は予め推定されているので、２台の撮像装置４６で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。
【００６４】
また、実ワークピース決定部３７は、ワークピースＷまでの距離（図３における垂直方向位置）を求める。撮像装置４６から対応点（ワークピースＷの基準位置Ｏ）までの距離Ｚは、２台の撮像装置４６間の距離Ｌ、撮像装置４６の焦点距離ｆ、２台の撮像装置４６間の対応点の視差（ずれ量）ｄから、次式（１）によって求めることができる。
【００６５】
Ｚ＝Ｌ×ｆ／ｄ  ・・・  （１）
これにより、ロボット４２で選定したワークピースＷをピックアップすることが可能となる。
【００６６】
なお、実ワークピース決定部３７で、実際のワークピースＷを２台の撮像装置４６で撮像した画像からワークピースＷの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部３７は、被覆部推定部３６で被覆部がピックアップ部位でないと推定されたワークピースＷに対してのみ実際位置姿勢を求めればよい。
【００６７】
ピックアップ決定部３８は、実ワークピース決定部３７で求めた実際のワークピースＷの実際位置姿勢及び距離に基いて、ロボット４２での取り出しに適しているワークピースＷを決定する。そして、決定したワークピースＷの実際位置姿勢及び距離を示す情報をロボット制御部４５に送信する。取り出すワークピースＷの決定手法は特に問わないが、例えばピックアップする際のロボット４２の制御が容易であるワークピースＷ、あるいは、ピックアップ後に裏返し等が必要ないワークピースＷを選択すればよい。
【００６８】
以下、図５を参照して、本発明の実施形態における画像認識方法について説明する。
【００６９】
まず、上述したサンプルデータ取得装置１０を用いて、準備工程を行う（Ｓ１０）。
【００７０】
この準備工程では、最初に、１個のワークピースＷを設置台１１に設置する。そして、制御部１３で設置台１１を回転等させながら、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像して、サンプル実画像生成部２１は、サンプル実画像データを得る（Ｓ１１）。サンプル実画像データは、ワークピースＷの姿勢情報と対応付けて記憶装置１４に保存する。
【００７１】
次に、ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する（Ｓ１２）。
【００７２】
そして、サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する（Ｓ１３）。
【００７３】
次に、サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像とサンプル基準想定画像との対応付けを行う（Ｓ１４）。
【００７４】
そして、サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面にＳ１４で対応付けたサンプル実画像の面における輝度を対応付ける（Ｓ１５）。
【００７５】
次に、サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する（Ｓ１６）。
【００７６】
次に、画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチに分割して、複数のサンプルパッチ画像を得る（Ｓ１７）。
【００７７】
次に、タグ付与部２７は、Ｓ１６で得た各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部２７は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像データをサンプルパッチ画像データベースとして記憶装置１４に保存する（Ｓ１８）。
【００７８】
そして、準備工程（Ｓ１０）完了後に、上述したピッキングアップ・システム４０を用いて、ワークピースＷの画像認識工程（Ｓ２０）を行う。
【００７９】
この画像認識工程では、最初に、ホッパ４１の上方から、ランダムに山積みされたワークピースＷを２台の撮像装置４６で撮像する（Ｓ２１）。このＳ２１が本発明の撮像工程に相当する。
【００８０】
そして、画像処理部３１は、２台の撮像装置４６により撮影された画像データを記憶装置１４に格納する（Ｓ２２）。
【００８１】
次に、画像分割部３２は、Ｓ２２で処理された画像を複数のパッチに分割に分割して、複数のパッチ画像を得る（Ｓ２３）。
【００８２】
次に、対応サンプルパッチ画像分類部３３は、Ｓ２３で分割された各パッチ画像が、Ｓ１３で分割されたサンプルパッチ画像の何れに最も類似するかを記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。この探索結果に基づいて各パッチ画像を分類する（Ｓ２４）。このＳ２４が、本発明の分類工程に相当する。
【００８３】
次に、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベルングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ２５）。このＳ２５が本発明の集積工程に相当する。
【００８４】
次に、ワークピース推定部３５は、Ｓ２５で集積された得点が前記閾値を超えるワークピースＷを選定し、選定したワークピースＷの基準位置Ｏ及び姿勢を推定する（Ｓ２６）。このＳ２６が、本発明のワークピース推定工程に相当する。
【００８５】
次に、被覆部推定部３６は、Ｓ２６で選定したワークピースＷのうち、得点が低いワークピースＷの被覆部を推定する（Ｓ２７）。このＳ２７が本発明の被覆部推定工程に相当する。
【００８６】
次に、実ワークピース決定部３７は、Ｓ２７で被覆部がピックアップ部位であると推定されたワークピースＷを除き、Ｓ２６で選定したワークピースＷの実際の基準位置Ｏ及び姿勢を求める（Ｓ２８）。また、実ワークピース決定部３７は、このワークピースＷの実際の距離を求める（Ｓ２９）。
【００８７】
そして、ピックアップ決定部３８は、Ｓ２８及びＳ２９で求めた実際のワークピースＷの基準位置Ｏ、姿勢及び距離から、ロボット４２での取り出しに適しているワークピースＷを決定する（Ｓ３０）。
【００８８】
そして、最後に、ロボット４２を用いて、Ｓ３０で決定したワークピースＷをピックアップするピックアップ工程（Ｓ３１）を行う。
【００８９】
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。
【００９０】
例えば、本実施形態では、ワークピース位置姿勢認識装置３０は被覆部推定部３６を備え、画像認識方法はワークピースＷの被覆部を推定する工程（Ｓ２７）を備える場合について説明した。しかし、被覆部推定部３６、及び被覆部を推定する工程を備えないものであってもよい。
【符号の説明】
【００９１】
１０…サンプルデータ取得装置、  １１…設置台、  １２…撮像装置（撮像手段）、  １３…制御部、  １４…記憶装置、  ２１…サンプル実画像生成部、  ２２…ポリゴンメッシュ生成部、  ２３…サンプル基準想定画像生成部、  ２４…サンプル画像対応付け部、  ２５…サンプル想定画像生成部、  ２６…画像分割部、  ２７…タグ付与部、  ３０…ワークピース位置姿勢認識装置、  ３１…画像処理部、  ３２…画像分割部、  ３３…対応サンプルパッチ画像分類部、  ３４…集積部、  ３５…ワークピース推定部、  ３６…被覆部推定部、  ３７…実ワークピース決定部、  ３８…ピックアップ決定部、  ４０…ピッキングアップ・システム、  ４１…ホッパ、  ４２…ロボット、  ４３…アーム、  ４４…ハンド、  ４６…撮像装置（撮像手段）、  Ｗ…ワークピース。
【図１】
2014174628.tif 000003
【図２】
2014174628.tif 000004
【図３】
2014174628.tif 000005
【図４】
2014174628.tif 000006
【図５】
2014174628.tif 000007