(57)【要約】【課題】対象物に表示する画像処理用マーカーの構成要素をあまり大きくせずとも、良好な検出精度が得られるようにするとともに、誤検出を減らして処理の迅速化を図る。【解決手段】対象物である工業用部品Ｗに表示するマーカーＭとして、真円又は楕円等の３つのマーカー構成要素ｍ1〜ｍ3を各々三角形の頂点に対応するように配置する。その三角形の重み付き重心に対応付けて、真円又は楕円等の付加構成要素ｍ4を表示する。カメラＣにより撮影した画像データから３つのマーカー構成要素ｍ1〜ｍ3を識別し、対応する三角形の画像平面における形状、大きさ及び位置と、予め設定されている部品Ｗ及び三角形のＣＡＤデータ等とに基づいて、マーカーＭの即ち部品Ｗの位置及び姿勢を検出する。【選択図】    図２
2010243405.tif 000002
【特許請求の範囲】
【請求項１】
対象物に表示して、その位置及び姿勢を画像処理により検出するためのマーカーであって、
前記対象物に３つのマーカー構成要素が各々三角形の頂点に対応付けて配置されている、ことを特徴とする画像処理用マーカー。
【請求項２】
マーカー構成要素が楕円形状を有する、請求項１の画像処理用マーカー。
【請求項３】
３つのマーカー構成要素に対し所定の位置関係となるように付加構成要素が配置されている、請求項１又は２のいずれかの画像処理用マーカー。
【請求項４】
付加構成要素は、３つのマーカー構成要素に対応する三角形の重心位置を除いた任意の位置に配置されている、請求項３の画像処理用マーカー。
【請求項５】
付加構成要素は、３つのマーカー構成要素に対応する三角形の内部に配置されている、請求項３又は４のいずれかの画像処理用マーカー。
【請求項６】
請求項１〜５のいずれか１つに係るマーカーが表示された対象物の位置及び姿勢を検出するための画像処理装置であって、
前記対象物を撮影した画像データからエッジ画像を抽出するエッジ抽出手段と、
前記抽出したエッジ画像のデータから３つのマーカー構成要素の画像を識別するマーカー構成要素識別手段と、
前記識別した３つのマーカー構成要素の画像から対応する三角形の画像平面における形状、大きさ及び位置を特定し、これらの情報と予め設定されている三角形の形状及び大きさに係る基準情報とに基づいて、マーカーの位置及び姿勢を検出する位置姿勢検出手段と、を備えることを特徴とする画像処理装置。
【請求項７】
マーカー構成要素識別手段は、３つのマーカー構成要素の画像の他に付加構成要素の画像も識別するものであり、
位置姿勢検出手段は、前記付加構成要素の画像平面における位置も加味してマーカーの位置及び姿勢を検出するものである、請求項６の画像処理装置。
【請求項８】
位置姿勢検出手段によって検出されたマーカーの位置及び姿勢から画像平面における対象物の輪郭を推定する輪郭推定手段と、
前記輪郭推定手段によって推定された輪郭とエッジ画像のデータにおける対象物の輪郭とを対比して、両者の位置ずれが小さくなるように前記位置及び姿勢の検出結果を補正する補正手段と、を備える、請求項６又は７のいずれかの画像処理装置。
【請求項９】
請求項１〜５のいずれか１つに係るマーカーが表示された対象物の位置及び姿勢をコンピュータ装置によって検出するための画像処理プログラムであって、
前記対象物を撮影した画像データの入力を受け入れる画像データ入力ステップと、
前記画像データからエッジ画像を抽出するエッジ抽出ステップと、
前記抽出したエッジ画像のデータから３つのマーカー構成要素の画像を識別するマーカー構成要素識別ステップと、
前記識別した３つのマーカー構成要素の画像から対応する三角形の画像平面における形状、大きさ及び位置を特定し、これらの情報と予め設定されている三角形の形状及び大きさに係る基準情報とに基づいて、マーカーの位置及び姿勢を検出する位置姿勢検出ステップと、を備えることを特徴とする画像処理プログラム。
【請求項１０】
マーカー構成要素識別ステップでは、３つのマーカー構成要素の画像の他に付加構成要素の画像も識別し、
位置姿勢検出ステップでは、前記付加構成要素の画像平面における位置も加味してマーカーの位置及び姿勢を検出する、請求項９の画像処理プログラム。
【請求項１１】
位置姿勢検出ステップにおいて検出したマーカーの位置及び姿勢から画像平面における対象物の輪郭を推定する輪郭推定ステップと、
前記輪郭推定ステップにおいて推定した輪郭とエッジ画像のデータにおける対象物の輪郭とを対比して、両者の位置ずれが小さくなるように前記位置及び姿勢の検出結果を補正する補正ステップと、を備える請求項９又は１０のいずれかの画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば工業用部品の位置決めやハンドリング等に利用される画像処理の技術に関し、特に、処理の容易化を図るべく対象物に表示するマーカーに係る。
【背景技術】
【０００２】
従来より、工業製品や工業用部品の自動組立において重要なビンピッキングの実用化に際し、その製品や部品等（対象物）を例えばデジタルカメラによって撮影して、その画像から位置及び姿勢を高精度かつ高速に検出する画像処理の技術が種々、提案されている。
【０００３】
すなわち、例えば工場の組み立てラインにおいて搬送用パレットにバラ積みされた部品を上方から撮影する場合、積み上がった部品の高さによってカメラまでの距離が変化し、画像の大きさが変化するとともに、部品が積み重なって斜めになることによってその見え方が、つまり画像の形状が変化する。
【０００４】
そこで、例えば特許文献１に記載の三次元位置及び姿勢の認識方法では、対象物である部品に大円部（所定の直径を有する円形部）と小円部（それと特定の位置関係にある指標部）とを備えたマーカーを表示し、これを斜め方向からカメラにより撮影した画像データにおいて、大円部に相当する楕円を抽出するとともに、その中心から小円部へ向かう傾き角度を求める。
【０００５】
そして、その楕円の形状、大きさ、位置、及び小円部との相対的な位置関係等の情報と、予め記憶しているマーカーの寸法形状に係る基準情報とに基づいて、基準座標系にあるカメラから見たマーカーの位置及び姿勢を表す座標変換行列を求める。この座標変換行列は、基準座標系に対するマーカーの、ひいては対象物の３次元的な位置及び姿勢を表すものであり、同文献においてはそうして検出した位置及び姿勢に基づいてロボットハンドを制御するようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−０９８２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、前記のように従来例では、マーカーの構成要素の１つである大円部が部品の傾きによって楕円形の画像になることに着目し、この楕円の形状や大きさを、マーカーの位置及び姿勢を検出するための情報として利用していることから、検出の精度が大円部の大きさに左右されてしまう。
【０００８】
すなわち、画像データにおける楕円の形状や大きさは、マーカーの表示されている面の傾き具合いやカメラとの距離によって変化するものであり、そのことに基づいて対象物の位置や姿勢を検出する際に所要の精度を確保しようとすれば、大円部は或る程度以上、大きくしなくてはならないが、このように大きな大円部を部品に表示することは困難な場合がある。
【０００９】
また、一般的にカメラによって撮影した画像データには、前記の大円部や小円部のようなマーカーの構成要素の他に、重なり合う複数の部品の輪郭線や該部品の表面の傷、異物等の画像が含まれるとともに、さらに光学ノイズや電気ノイズも現れることがあって、このようなノイズとマーカー構成要素との識別に誤りを生じる可能性がある。
【００１０】
そのため、識別した構成要素からマーカーの位置や姿勢を検出しても、これに基づいて直ちにロボットハンドを制御するのではなく、マーカーの位置や姿勢から一旦、対象物の輪郭を推定し、この推定結果が正しいかどうか例えば画像データにおける対象物の輪郭と対比して検証する必要がある。そして、マーカーの誤識別が多ければ、検証のための処理演算を繰り返すこととなり、徒に処理時間が長くなってしまう。
【００１１】
斯かる諸点に鑑みて本発明の目的は、工業用部品のような対象物に表示する画像処理用のマーカーの構成に工夫を凝らし、その構成要素をあまり大きくせずとも良好な検出精度が得られるようにするとともに、誤検出を減らして処理の迅速化を図ることにある。
【課題を解決するための手段】
【００１２】
前記の目的を達成すべく本願の請求項１に係る発明では、対象物に表示してその位置及び姿勢を画像処理により検出するためのマーカーとして、３つのマーカー構成要素を各々三角形の頂点に対応するように配置したものである（請求項１）。尚、このことは、マーカーが３つのマーカー構成要素のみからなることを意味するものではなく、以下に述べる付加構成要素を含めて、別の構成要素を有していても構わない。
【００１３】
このようなマーカーが表示された対象物を上述の従来例（特許文献１）と同様にカメラ等によって撮影し、その画像データにおいて３つのマーカー構成要素を識別すれば、画像平面に投影されたマーカーの三角形状、その大きさ及び位置を特定することができる。そして、これらの情報と予め設定されている三角形の寸法形状に係る基準情報とに基づいて例えば前記従来例と同様に、基準座標系にある三角形を画像平面上の三角形状となるように射影するための変換行列を求めることによって、マーカーの（即ち対象物の）位置及び姿勢を検出することができる。
【００１４】
そうして位置及び姿勢を検出する際の精度を高めるためには、上述したようにマーカーが大きい方が望ましいので、３つのマーカー構成要素は互いに離して或る程度以上、大きな三角形の頂点に配置するのがよい。こうした場合でも個々のマーカー構成要素が大きくなるわけではないから、従来例の大円部を大きくすることとは意味合いが異なり、本発明のマーカーは問題なく対象物に表示することが可能である。
【００１５】
マーカー構成要素として具体的には真円や楕円等が好ましく、その中心を三角形の頂点に位置付ければよい（請求項２）。真円や楕円は、どのような傾き方をしても真円や楕円にしかならず、それを識別するロジックがシンプルなものになるからである。厳密に言えば、遠近法により真円や楕円は僅かに歪むが、この歪みは無視しても実用上は差し支えない。それ以外にも例えば放物線や２次曲線等、ノイズから識別しやすく、かつ、対応する１点を容易に特定できるような幾何学的形状であればよい。ノイズとの識別にはやや不利になるが、楕円や放物線等の一部分であってもよい。
【００１６】
また、そのようなマーカーを対象物に表示するには、例えば対象物がプレス成形による金属製部品の場合、その成形の際にマーカーを刻印するのが簡便であり、コストの面でも有利になる。一方、マーカーを対象物に印刷するのであれば、マーカー構成要素は着色した点とすることもできるが、この場合は高コストになるという難がある。
【００１７】
ところで、前記したように画像平面上で特定したマーカーの三角形状やその大きさだけでは該マーカーの姿勢を１つに特定することができず、２、３通りに特定される場合がある。例えば、斜めになったマーカーが正三角形状に見えるときには、３つの頂点の区別がつかないから、３通りの姿勢が考えられる。そこで、１辺が他の２辺に比べてかなり長い直角三角形のように、斜めになっても３点の区別がつきやすい形状とするのが好ましい。
【００１８】
或いは、前記のようにマーカー構成要素として真円や楕円を用いるのであれば、その大きさを互いに異ならせることによって、それらを区別することも可能になるし、着色した点を用いるのであれば、その色を異ならせることによって区別することもできる。
【００１９】
好ましいのは、３つのマーカー構成要素に対し所定の位置関係となるようにして、別の構成要素を付加することであり（請求項３）、こうすれば、その付加構成要素との相対的な位置関係によって、３つのマーカー構成要素を互いに区別して識別することができる。しかも、付加構成要素の有無によって、マーカー構成要素を誤って識別しているかどうか直ちに判定できるので、処理の迅速化にも貢献する。
【００２０】
尚、付加構成要素を三角形の重心位置に配置すると、これとの位置関係によってはマーカー構成要素を区別することができないので、付加構成要素は重心位置以外に配置するのが好ましく（請求項４）、例えば重み付き重心等が考えられる。付加構成要素が重心位置にあっても、前記のようにマーカー構成要素の誤識別について判定することはできる。
【００２１】
また、好ましくは付加構成要素は、３つのマーカー構成要素に対応する三角形の内部に配置する（請求項５）。これは、仮に付加構成要素を三角形の外に配置した場合、画像処理の１回の処理演算を行うウインドウ（処理範囲）の大きさの制限に起因して、付加構成要素の識別が遅れる可能性が高くなり、処理の遅延を招く虞れがあるからである。
【００２２】
別の観点から本発明は、前記のようなマーカーが表示された対象物の位置及び姿勢を検出するための画像処理装置であって、カメラ等により撮影した対象物の画像データからエッジ画像を抽出するエッジ抽出手段と、そうして抽出したエッジ画像のデータから３つのマーカー構成要素の画像を識別するマーカー構成要素識別手段と、その３つのマーカー構成要素の画像から対応する三角形の画像平面における形状、大きさ及び位置を特定し、これらの情報と予め設定されている三角形の形状及び大きさに係る基準情報とに基づいて、マーカーの位置及び姿勢を検出する位置姿勢検出手段と、を備えている（請求項６）。
【００２３】
好ましくは、前記マーカー構成要素識別手段を、３つのマーカー構成要素の画像の他に付加構成要素の画像も識別するものとし、前記位置姿勢検出手段は、前記付加構成要素の画像平面における位置も加味してマーカーの位置及び姿勢を検出するものとする（請求項７）。こうすれば、請求項３の発明について前記したようにマーカー、ひいては対象物の位置及び姿勢をより迅速に検出できる。
【００２４】
より好ましいのは、前記位置姿勢検出手段によって検出されたマーカーの位置及び姿勢から画像平面における対象物の輪郭を推定する輪郭推定手段と、その推定された輪郭とエッジ画像のデータにおける対象物の輪郭とを対比して、両者の位置ずれが小さくなるように前記位置及び姿勢の検出結果を補正する補正手段と、を備えることであり（請求項８）、こうすれば対象物の位置及び姿勢の検出精度が向上する。
【００２５】
さらに別の観点から本発明は、コンピュータ装置によって前記のような画像処理装置を構成するためのプログラム（画像処理プログラム）であって、請求項９の発明は、対象物を撮影した画像データの入力を受け入れる画像データ入力ステップと、その画像データからエッジ画像を抽出するエッジ抽出ステップと、そのエッジ画像のデータから３つのマーカー構成要素の画像を識別するマーカー構成要素識別ステップとを備えるとともに、その３つのマーカー構成要素の画像から対応する三角形の画像平面における形状、大きさ及び位置を特定して、これらの情報と予め設定されている三角形の形状及び大きさに係る基準情報とに基づいて、マーカーの位置及び姿勢を検出するものである（位置姿勢検出ステップ）。
【００２６】
そして好ましくは、前記マーカー構成要素識別ステップにおいて、３つのマーカー構成要素の画像の他に付加構成要素の画像も識別し、前記位置姿勢検出ステップでは、前記付加構成要素の画像平面における位置も加味してマーカーの位置及び姿勢を検出する（請求項１０）。こうすれば、前記請求項３、７の発明と同様の作用が得られる。
【００２７】
より具体的に前記マーカー構成要素識別ステップでは、画像データ中の所定ピクセル数のウインドウを走査して、マーカー構成要素と推定される画像を３つ選択し、これらが各々頂点に位置する三角形を特定する。そして、この三角形の３つの頂点に対して所定の位置関係にある画像が付加構成要素と識別されれば、位置姿勢検出ステップに進む一方で、そのような画像がないか、或いは付加構成要素とは識別されないかのいずれかの場合は、前記マーカー構成要素の選択をやり直すことになる。
【００２８】
また、好ましいのは、前記位置姿勢検出ステップにおいて検出したマーカーの位置及び姿勢から画像平面における対象物の輪郭を推定する輪郭推定ステップと、そうして推定した輪郭をエッジ画像のデータにおける対象物の輪郭と対比して、両者の位置ずれが小さくなるようにマーカーの位置及び姿勢の検出結果を補正する補正ステップと、を備えることである（請求項１１）。こうすれば、前記請求項８の発明と同じく対象物の位置及び姿勢の検出精度が向上する。
【発明の効果】
【００２９】
以上のように、本発明に係る画像処理用のマーカーは、ノイズとの識別が可能な３つの構成要素からなり、それらが各々三角形の頂点に対応付けて配置されているので、個々の構成要素はあまり大きくしなくても、マーカー全体としては所要の大きさを確保できる。よって、例えばバラ積みされた部品のように対象物が傾いていても、その位置及び姿勢をマーカー画像の情報に基づいて精度良く検出することができる。
【００３０】
特に、３つのマーカー構成要素に対し所定の位置関係となる付加構成要素を設ければ、これとの相対的な位置関係によって３つのマーカー構成要素が区別できるので、対象物の姿勢をより確実に検出できるとともに、付加構成要素の有無によってマーカー構成要素の誤識別の判定も可能になり、処理の迅速化に貢献する。
【図面の簡単な説明】
【００３１】
【図１】実施形態に係る画像処理装置を備えたシステムの概略構成を示す図である。
【図２】実施形態のマーカーを表示した工業用部品の画像データの一例を示す図である。
【図３】部品が斜めになったときのマーカー見え方の変化を示す概念図である。
【図４】画像処理の手順を示すフローチャート図である。
【図５】付加構成要素を用いない変形例のマーカーに係る図２相当図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態を図面に基づいて説明する。尚、以下の説明は本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【００３３】
図１には、本発明に係る画像処理装置Ａが組み込まれたロボット・システムの一例を示す。このシステムは、例えば工場の組み立てラインに設置されていて、供給トレイＴ１にバラ積みされている部品Ｗ（対象物：図２にも示す）をピッキング・ロボットＲのハンドにより把持して、隣接する整列トレイＴ２に移動させるものである。
【００３４】
図の例では、供給トレイＴ１の上方にカメラ１が配設されており、これにより撮影した画像データが所定のプログラムに従ってパーソナルコンピュータ２（コンピュータ装置であり、以下、ＰＣと略称）により処理され、部品Ｗの位置や姿勢が検出される。こうして検出された部品Ｗの位置や姿勢のデータはロボットＲのコントローラＣに転送され、部品Ｗのピックアップ制御に供される。
【００３５】
そのようにして撮影された画像データの一例（後述の如くグレースケール画像から抽出されたエッジ画像）を図２(a)に示すと、この例では部品Ｗは概略矩形板状であって、長方形状をなす表面の短辺の方向に一端が厚く、他端に至るに従って薄くなる楔状である。図の例では１２個の部品Ｗが互いに重なり合って見えている。それぞれの部品Ｗの表面には、その４隅のうちの３箇所にそれぞれ真円形状のマーカー構成要素ｍ1，ｍ2，ｍ3が刻印されている。これは、例えば部品Ｗのプレス成形の際に刻印すればよい。
【００３６】
より具体的には図３(a)に示すように、部品Ｗの表面には長辺を横に向けたときの右上の隅とその両隣の隅との３箇所に、従って、これを反転させれば同左下の隅とその両隣の隅との３箇所に位置するように、３つのマーカー構成要素ｍ1〜ｍ3が刻印されていて、同図に仮想線で示すように長辺、短辺及び対角線に対応する直角三角形を認識し得るマーカーＭを構成している。
【００３７】
それらの３つのマーカー構成要素ｍ1〜ｍ3を画像データから識別し、対応するマーカーＭの三角形状、その大きさ及び位置を特定して、予めマーカーＭの基準情報として設定されているＣＡＤデータ等と照合することにより、このマーカーＭの、即ちこれが表示されている部品Ｗの３次元の位置及び姿勢を検出することができる。
【００３８】
具体的には、まず、そうして特定される三角形の大きさが、部品ＷとカメラＣとの距離に対応している。そして、仮にマーカーＭの表示されている面がカメラＣの光軸に直交しているとすれば、つまり、部品Ｗが傾いていないとすれば、その三角形の形状はＣＡＤデータの三角形状と一致するから、このＣＡＤデータとの照合によってマーカーＭの姿勢、即ち部品Ｍの姿勢も特定できる。
【００３９】
すなわち、図３(a)に模式的に示すように、マーカー構成要素ｍ1の円の中心点ｃ1と同ｍ2の中心点ｃ2とを結ぶ仮想線が部品Ｗの長辺に対応し、同様にマーカー構成要素ｍ1の中心点ｃ1と同ｍ3の中心点ｃ3とを結ぶ仮想線が部品Ｗの短辺に対応し、さらに、中心点ｃ2，ｃ3同士を結ぶ仮想線が部品Ｗの対角線に対応しているから、これらの仮想線で示される直角三角形の頂点ｃ1〜ｃ3の座標から一義的に部品Ｗの位置及び姿勢を特定することができる。
【００４０】
一方で部品Ｗが傾いている場合は、その傾き具合いに応じて見え方が変わるから、画像データにおける三角形状は例えば同図(b)，(c)のように変化する。そこで、このような三角形状の変化に基づいて部品Ｗの傾き、即ち３次元空間における部品Ｗの姿勢を検出することができる。この検出の考え方は既に周知であるから（例えば特許文献１を参照）、説明は省略するが、マーカーＭの傾きによる見え方の変化を利用することから、所要の検出精度を得るためには或る程度以上、大きなマーカーＭが望ましく、そのために３つのマーカー構成要素ｍ1〜ｍ3を部品Ｗの隅部に表示している。
【００４１】
ところで、そうして部品Ｗが斜めになった結果として図３(b)のようにマーカー画像が正三角形状に近くなると、３つの頂点ｃ1〜ｃ3の区別がつき難くなるので、マーカーＭの姿勢を１つに特定することができず、図に破線で示す別の２通りの姿勢を含めて合計３通りの姿勢が推定されるようになる。さらに、マーカー画像が正三角形状にならなくても同図(c)に示すように２通りの姿勢が考えられることもある。
【００４２】
そこで、この実施形態では、３つのマーカー構成要素ｍ1〜ｍ3に対し所定の位置関係となるようにして、別のマーカ構成要素ｍ4を付加している。具体的には、各マーカー構成要素ｍ1〜ｍ3の円の中心点ｃ1〜ｃ3を頂点とする直角三角形の重み付き重心位置に対応付けて、この位置が中心点ｃ4となるように円形の付加構成要素ｍ4を配置している。
【００４３】
この付加構成要素ｍ4の中心点ｃ4は、画像平面x-yにおいて３つのマーカー構成要素ｍ1〜ｍ3の中心点ｃ1〜ｃ3の座標を各々(x1，y1)、(x2，y2)、(x3，y3)として、以下の式(1)のように表されるから、この中心点ｃ4の座標（x4，y4）に基づいて、即ち中心点ｃ4との相対的な位置関係によって、３つのマーカー構成要素ｍ1〜ｍ3を区別することができる。
【００４４】
【数１】
2010243405.tif 000003
【００４５】
尚、前記式(1)において係数ａ、ｂ、ｃは、重心に対する各頂点の重み付きを表す係数で、互いに異なる任意の値に設定すればよい。ａ＝ｂ＝ｃの場合は付加構成要素ｍ4の中心点ｃ4が三角形の重心に位置することになり、これとの位置関係によっては３つのマーカー構成要素ｍ1〜ｍ3を区別できなくなるからである。つまり、付加構成要素ｍ4は三角形の重心位置以外に配置するのが好ましい。
【００４６】
そして、この実施形態では、以下に述べる画像処理プログラムによって画像データから前記３つのマーカー構成要素ｍ1〜ｍ3と付加構成要素ｍ4とを識別し、画像平面におけるマーカーＭの三角形状、大きさ及び位置（例えば三角形の重心位置等でよい）の情報と、ＣＡＤデータに含まれるマーカーＭの大きさや位置の情報とに基づいて、当該マーカーＭの（即ち部品Ｗの）３次元的な位置及び姿勢を検出する。
【００４７】
−画像処理の手順−
次に、この実施形態のシステムにおける画像処理の手順を、具体的に図４のフローチャートに基づいて説明する。最初に工場の生産管理情報等に基づいてロボットＲのコントローラＣからカメラ１に計測要求信号が送られ、これを受けたカメラ１によって撮影されたグレースケール画像のデータがＰＣ２に送られて、入力される（ステップＳ１：画像データ入力ステップ）。
【００４８】
すると、画像データの入力を受けたＰＣ２では、この画像データからエッジ画像を抽出する（ステップＳ２：エッジ抽出ステップ）。これは、従来周知の例えばキャニーエッジ・フィルタやソーベル・フィルタ等によってグレースケール画像をエッジ画像に変換する処理を行うものであり、一例として前記図２(a)のような画像データが得られる。図示のように画像データには、部品Ｗの輪郭線やマーカ構成要素ｍ1〜ｍ3以外に、部品Ｗの表面の傷や異物等の画像（ノイズ）が含まれている。
【００４９】
続いてステップＳ３では、ノイズからマーカ構成要素ｍ1〜ｍ3の楕円画像を識別する処理を行う（楕円識別ステップ）。これは、部品Ｗに刻印されている円形のマーカー構成要素ｍ1，ｍ2，ｍ3が部品Ｗの傾きによって見かけ上、変形しても楕円にしかならないことを利用し、それらマーカー構成要素ｍ1，ｍ2，ｍ3を識別するものである。こうして楕円形の画像をノイズから識別する手法は従来より種々のものが知られている（例えば、特開２００６−６５４５２号公報、特開２００２−１８３７３０号公報等を参照）。
【００５０】
一例として、前記エッジ画像のデータにおいて予め設定したピクセル数（例えば２００×２００ピクセル）のウインドウを走査し、エッジピクセルを探索する。そして、最初に見つかったエッジピクセルから或る角度毎（以下、１５度として説明する）にエッジを探索して、最初の１点と後に探索した１２点のうち任意の４点との合計５点を、周知の楕円の式に代入することによって楕円の中心等のパラメータを仮推定する。
【００５１】
次に、そうして仮推定した楕円の中心の周りに所定角度（以下、１０度として説明する）毎にエッジを探索して、エッジピクセルを３６個選択する。この３６点を用いて最小二乗法により楕円を推定し、楕円の中心、長径、短径及び軸の傾きといったパラメータを決定する。このような手順を繰り返して楕円と思われる画像（楕円画像）をいくつも検出するのであるが、この際、検出漏れの防止を優先して、楕円か否かの判定基準は緩めに設定するのが好ましい。
【００５２】
そうして複数個（３個以上）の楕円の画像を識別した後にステップＳ４では、そのうちからランダムに選択した３つの楕円画像について、それらがマーカーＭとして予め定められている三角形状の配置となっているかどうか判定する（マーカー検出ステップ）。すなわち、まずは選択した楕円の長径の情報を利用して候補を絞り込む。これは、楕円の長径がマーカー構成要素ｍ1〜ｍ3の円の直径以下であり、かつカメラＣとの距離に応じて小さくなることを考慮して、大きすぎる楕円は排除するのであるが、この際も検出漏れの防止を優先し、絞り込みの条件は緩めに設定するのがよい。
【００５３】
そして、絞り込んだ候補の中のいずれか３つの楕円画像について、図２(b)に仮想線で示すように、それぞれの中心点ｃ1〜ｃ3を頂点とする三角形を仮定し、この三角形の重み付き重心位置の座標（式(1)参照）を計算して、この座標位置を中心とする別の楕円画像があるかどうか判別する。このような楕円画像があれば、前記３つの楕円画像をマーカー構成要素ｍ1〜ｍ3として識別し、図示のようにマーカーＭを検出してステップＳ５に進む一方、重み付き重心位置に対応する楕円画像がなければ、前記の３つの楕円画像の選択からやり直す。
【００５４】
ステップＳ５では、前記のように検出したマーカーＭの三角形状、大きさ及び画像平面における位置の情報と、ＣＡＤデータとして設定されている三角形の形状及び大きさ（基準情報）とに基づいて、マーカーＭの、即ち部品Ｗの３次元的な位置及び姿勢を検出する（位置姿勢検出ステップ）。すなわち、例えば従来例（特許文献１）と同様にして、３次元の基準座標系にあるＣＡＤデータの三角形を、前記のように検出した画像平面上のマーカーＭの三角形状になるように射影するための変換行列を求める。
【００５５】
そして、ステップＳ６では、前記ステップＳ５において求めた座標変換行列を用いて、画像平面における部品Ｗの輪郭を推定する（輪郭推定ステップ）。これは、ＣＡＤデータ等から作成した基準座標系における部品Ｗのエッジデータに前記射影変換行列を適用して画像平面上にマッピングすることにより、この画像平面における部品Ｗの輪郭を推定するものである。
【００５６】
続くステップＳ７では、前記のように推定した輪郭と前記エッジ画像のデータ（ステップＳ２）における部品Ｗの輪郭とを対比して、両者の位置ずれが小さくなるように、前記位置及び姿勢の検出結果（ステップＳ５）を補正する（補正ステップ）。こうして画像平面上で２つの輪郭線をマッチングさせる手法も従来より種々、知られているが、ここでは公知の距離変換の手法を利用して２つの輪郭線のずれ量（誤差）を計算し、この誤差が最小となるように輪郭を補正する。
【００５７】
すなわち、ステップＳ２で抽出したエッジ画像を利用し、全ピクセルにおけるエッジピクセルからの距離を表す距離マップを作成しておき、ステップＳ６にて推定した輪郭の各エッジピクセルの位置と実際の部品Ｗの各エッジピクセルとの距離を、前記の距離マップを参照して求めて、その距離の合計を誤差とする。そして、数学的な探索手法を用いて誤差を減少させる処理を繰り返すことで、輪郭を補正する。
【００５８】
こうして補正した部品Ｗの輪郭、即ちその位置及び姿勢の最終的な検出結果のデータをステップＳ８にてロボットＲのコントローラＣに転送し（データ出力）、処理ルーチンを終了する。このデータに基づいてピッキング・ロボットＲが制御されることで、そのハンドは供給トレイＴ１内の部品Ｗを間違いなくピックアップすることができる。
【００５９】
前記フローのステップＳ３は、エッジ画像のデータから３つの楕円画像を識別するマーカー構成要素識別ステップであり、ステップＳ４，Ｓ５は、マーカーＭの（即ち部品Ｗの）位置及び姿勢を検出する位置姿勢検出ステップである。
【００６０】
そして、この実施形態の画像処理システムにおいては、ＰＣ２によって前記フローのような画像処理プログラムが実行されることにより、そのＰＣ２が、エッジ抽出手段と、マーカー構成要素識別手段と、位置姿勢検出手段と、輪郭推定手段と、補正手段とを構成する。
【００６１】
したがって、この実施形態に係る画像処理装置Ａによると、カメラ１により撮影した画像データを処理し、部品Ｗに表示してあるマーカーＭの三角形状、大きさ及び位置を検出して、ＣＡＤデータの三角形状との間での座標変換行列を求めることにより、そのマーカーＭの、即ち部品Ｗの３次元の位置及び姿勢を検出することができる。
【００６２】
前記のマーカーＭは、３つの円形の構成要素ｍ1〜ｍ3が直角三角形の頂点に対応するように各々部品Ｗの表面の隅部に配置されているので、個々のマーカー構成要素ｍ1〜ｍ3は小さくてもマーカーＭ全体としては十分に大きくなり、その見え方の変化によって部品Ｗの姿勢を精度良く検出することができる。
【００６３】
そのため、前記のようにマーカーＭの位置及び姿勢から部品Ｗの輪郭を推定し、画像データ中の輪郭との位置ずれが少なくなるように補正するときに、比較的位置ずれが小さいことから補正のための演算量が少なくて済み、処理の迅速化が図られる。
【００６４】
特にこの実施形態では、マーカーＭに対応する三角形の重み付き重心位置に付加構成要素ｍ4を表示しており、これとの相対的な位置関係によって３つのマーカー構成要素ｍ1〜ｍ3を区別できるようにしているので、マーカーＭの（即ち部品Ｗの）の姿勢をより確実に検出できる。しかも、前記付加構成要素ｍ4の有無によってマーカー構成要素ｍ1〜ｍ3の誤識別を判定でき、このことも処理の迅速化に貢献する。
【００６５】
付加構成要素ｍ4は、画像平面における３つのマーカー構成要素ｍ1〜ｍ3との位置関係を数式によって記述できる任意の位置に表示ればよいが、この実施形態では三角形の内部に表示されることになり、三角形の外に表示するのに比べると処理が速くなる。
【００６６】
すなわち、前記図４のフローのステップＳ３において楕円画像を識別するときには、画像データのうちの所定ピクセル数（例えば２００×２００）のウインドウを走査して１回の処理を行い、この処理をウインドウをずらしながら繰り返すことになるが、付加構成要素ｍ4が三角形の内部にあれば、３つのマーカー構成要素ｍ1〜ｍ3を含むウインドウには必ず付加構成要素ｍ4も含まれることになるからである。
【００６７】
尚、本発明に係るマーカーの構成は前記の実施形態に限定されない。例えばマーカーＭの構成要素は真円に限らず楕円としてもよい。いずれも、部品Ｗがどのように傾いていても真円や楕円にしかならず、それを識別するロジックがシンプルなものになる。それ以外にも例えば放物線や２次曲線等、ノイズからの識別が可能で、かつ対応する１点を容易に特定できるような幾何学的形状、或いはその一部分であってもよい。
【００６８】
また、マーカー構成要素を部品Ｗの成形の際に刻印するのではなくて、後から印刷することもできる。この場合、マーカー構成要素は着色した点とすることも可能で、その色を異ならせれば容易に区別して識別できるから、付加構成要素ｍ4は不要となる。
【００６９】
また、真円や楕円等の構成要素とする場合でも、その大きさを互いに異ならせて、区別できるようにすることも可能である。図５には、互いに大きさの異なる３つの真円によって構成されるマーカーＭの一例を示している。図の例ではマーカーＭの３つの構成要素が近接していることから、これにより検出した部品Ｗの輪郭（一点鎖線で示す）の位置ずれがやや大きめになっている。
【００７０】
さらに、例えば真円と楕円、双曲線というように３つのマーカー構成要素の形状を異ならせて、互いに区別できるようにすることも可能であり、この場合にも付加構成要素は不要になる。
【００７１】
さらにまた、前記した実施形態のように部品Ｗの隅部にマーカ構成要素ｍ1〜ｍ3を表示する必要もなく、それらは、例えば部品Ｗの同一面上のように同時にカメラＣの視野内に含まれ得る部位に表示すればよい。それらを表示する範囲は、カメラＣの分解能やその撮像範囲等との関係に基づいて適切な大きさに設定すればよい。
【００７２】
また、本発明に係るマーカーは、前記実施形態のような３つのマーカー構成要素ｍ1〜ｍ3を有するものであれば、付加構成要素ｍ4を含めて別の構成要素を有していてもよく、その別の構成要素を含めて全体としては多角形状をなしていても構わない。
【００７３】
また、本発明に係るマーカーやそれを用いた画像処理の手法は、前記実施形態のように工業用部品Ｗのピックアップ作業に適用できるのみならず、それ以外の種々の対象物にも適用できることは言うまでもない。
【産業上の利用可能性】
【００７４】
以上、説明したように本発明に係るマーカーは、その構成要素をあまり大きくしなくとも対象物の位置や姿勢の検出精度を確保することができ、処理の迅速化にも貢献するので、産業上の有用性は高い。
【符号の説明】
【００７５】
Ａ          画像処理装置
Ｍ          マーカー
ｍ1〜ｍ3    マーカー構成要素
ｍ4         付加構成要素
Ｗ          工業用部品（対象物）
１          カメラ
２          コンピュータ装置（ＰＣ：エッジ抽出手段、マーカー構成要素識別手段、              位置姿勢検出手段、輪郭推定手段、補正手段）
【図１】
2010243405.tif 000004
【図２】
2010243405.tif 000005
【図３】
2010243405.tif 000006
【図４】
2010243405.tif 000007
【図５】
2010243405.tif 000008