(57)【特許請求の範囲】
【請求項１】
物品に形成された穴部を撮像手段により撮像し、該撮像手段により得られた実際の画像とパターンマッチングさせる基準画像を作成する方法であって、一つの基準画像を、所定の条件に基づいて加工することにより他の複数の基準画像を作成するに当たって、前記所定の条件が撮像時に用いられる照明の照射方向とされており、前記基準画像は、前記照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部とされていることを特徴とするパターンマッチングに用いる基準画像作成方法。
【請求項２】
前記穴部は、所定形状の位置決め手段を挿入することにより物体の位置決めを行うためのものとされており、前記基準画像は、前記位置決め手段の先端形状に基づいて穴部の外方に移動させて形成された影部とされていることを特徴とする前記請求項１記載のパターンマッチングに用いる基準画像作成方法。
【請求項３】
前記基準画像は、前記穴部の周辺の色に基づいて背景色を決定したものとされていることを特徴とする前記請求項１記載のパターンマッチングに用いる基準画像作成方法。
【請求項４】
前記一つの基準画像は、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段により撮像されたものとされていることを特徴とする前記請求項１ないし請求項３のいずれか一項記載のパターンマッチングに用いる基準画像作成方法。
【請求項５】
前記一つの基準画像は、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段以外の撮像手段により撮像されたものとされていることを特徴とする前記請求項１ないし請求項３のいずれか一項記載のパターンマッチングに用いる基準画像作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
【０００２】
本願発明は、パターンマッチングに用いる基準画像作成方法に関するものである。
【従来の技術】
【０００３】
例えば、ロボットを用いた自動車の自動組立ラインにおいては、ボディに設けられたボルト穴等のワーク取付基準点をカメラ等の撮像手段で撮像するとともに、その画像を表示する画面上での撮像位置の座標を読み取ることにより、上記基準点ないしボディ全体としての位置を検出する方法が採用されてきている。
【０００４】
つまり、図１１に示すように、ボディに設けられた基準穴と同一の形状を有する２値化データのパターンからなる基準画像（換言すれば、テンプレートＡ）を設定した上で、カメラで撮像した基準穴の画像Ｂが表示された画面Ｐ上で上記テンプレートＡを走査させ、この画面Ｐ上で該テンプレートＡと基準穴の画像Ａ′とがマッチングしたときの該テンプレートＡの中心座標（Ｘ，Ｙ）を読み取ることにより、上記基準穴ないしボディの位置を検出する方法が採用されてきているのである。
【０００５】
ところで、上記のような方法を採用する場合、例えばボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等の条件により、基準穴の画像が明確に撮像されない場合が生ずることがある。すると、テンプレートを走査させて基準穴の画像とマッチングしても、これらがマッチングしたとは判断されない場合が生ずる。
【０００６】
上記のような不具合に対処する方法として、上記した条件（即ち、ボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）を考慮した複数のテンプレートを用意し、これらのテンプレートと実画像とをマッチングさせる方法がある。
【０００７】
上記の方法を採用する場合、パターンマッチングにおいて実画像とマッチングさせるための複数のテンプレート（即ち、基準画像）を作成する必要があるが、該テンプレート用の基準データを現物の認識から求めることが考えられる。
【発明が解決しようとする課題】
【０００８】
上記したように、現物の認識から基準データを求めようとした場合、対象となる基準データとして、各種条件（例えば、ボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に適合した現物データを画像として取り込み、これらを基準画像とする必要が生ずる。つまり、基準データの取り込みのためには、自動組立ライン上における任意のステーションにデータ取込用のボディをその都度停める必要が生ずるのである。従って、全基準画像を作成するためには、相当な時間（例えば、少なくとも１カ月以上）が必要となるのである。
【０００９】
本願発明は、上記の点に鑑みてなされたもので、パターンマッチングにおいて用いられる複数の基準画像を短期間且つ容易に作成できるようにすることを目的とするものである。
【課題を解決するための手段】
【００１０】
本願発明の第１の基本構成では、上記課題を解決するための方法として、物品に形成された穴部を撮像手段により撮像し、該撮像手段により得られた実際の画像とパターンマッチングさせる基準画像を作成する方法において、一つの基準画像を、所定の条件に基づいて加工することにより他の複数の基準画像を作成するに当たって、前記所定の条件が撮像時に用いられる照明の照射方向とされ、前記基準画像は、前記照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部とされるようにしている。
【００１１】
上記のような方法を採用したことにより、一つの基準画像データに対して所定の条件（例えば、撮像時に用いられる照明の照射方向、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すことにより、実際の画像とパターンマッチングさせるための複数の基準画像（例えば、照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部）を短期間で作成することができる。
【００１２】
前記基準画像を、前記穴部の周辺の色に基づいて背景色を決定したものとする場合もある。
【００１３】
前記一つの基準画像を、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段により撮像されたものとする場合もある。
【００１４】
また、前記一つの基準画像を、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段以外の撮像手段により撮像されたものとする場合もある。
【発明の実施の形態】
【００１５】
以下、添付の図面を参照して、本願発明の好適な実施の形態について詳述する。
【００１６】
このパターンマッチングに用いる基準画像作成方法は、次のような装置を用いて行われる。
【００１７】
この基準画像作成装置は、図１に示すように、自動車のボディ１に形成された対象個所（例えば、穴部１２）を自動組立ライン上に設置された作業設備であるロボット２に搭載された撮像手段（例えば、カメラ）３と、該カメラ３により撮像して得られた一つの基準画像Ａが取り込まれるとともにロボットコントローラとしての機能も有している画像処理装置４と、かくして取り込まれた基準画像Ａがフロッピィディスク等の媒体を介してダウンロードされる画像編集用パソコン５とを備えて構成されている。
【００１８】
前記画像処理装置４は、図４に示すように、カメラ３により撮像された撮像データ（即ち、アナログデータ）をデジタルデータに変換するＡ／Ｄ変換手段６、フレームメモリ手段７、メモリ手段８、表示手段９、画像処理を行うとともにロボット２の作動制御をも行うコントロール部（即ち、ＣＰＵ）１０および外部入出力手段１１を備えて構成されており、前記メモリ手段８は、ボディ１の表面を小平面単位で構成され、三次元空間内でのボディ１の位置を前記小平面毎に記述されたモデルの対象個所（例えば、穴部１２）を記憶するモデル記憶手段として作用するものとされている。
【００１９】
前記画像編集用パソコン５は、画像処理装置４からダウンロードされた一つの基準画像Ａを所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づいて加工して複数の基準画像Ｂ，Ｃ，Ｄ（図２参照）を編集するものとされている。
【００２０】
ここで、基準画像Ｂは、基準画像Ａにおけるボディ１（即ち、背景）の色を変化させて得られたものであり、図７（イ）に示す背景色Ｋは、明から暗までを４段階（例えば、明→やや明→やや暗→暗）に分けたものが作成されることとなっている。また、背景色Ｋが黒の場合、穴部１２との境界の判断が困難であるため、図７（ロ）に示すように、明暗シキイ値Ｍを１５に設定し、該シキイ値Ｍに基づいて明暗判断を行うようにしてもよい。
【００２１】
また、基準画像Ｃは、図５に示すように、穴部１２に照射される照明Ｉの角度を変化させた場合に得られる影の部分Ｃ′の画像とされており、図８に示すように、影の部分Ｃ′の形状の異なるものが作成される。即ち、穴部１２が円形の場合、図８（イ）あるいは（ロ）に点線で示すように、影の部分Ｃ′を内方あるいは外方へ移動させて作成されるし、穴部１２が矩形の場合、図８（ハ）、（ニ）に点線で示すように、影の部分Ｃ′を内方あるいは外方へ移動させて作成される。
【００２２】
さらに、基準画像Ｄは、図６に示すように、自動組立ラインにおける治具１３との干渉等に起因して変形した穴部１２の形状とされており、変形部分Ｄ′の位置が異なるものが作成される。即ち、穴部１２が円形の場合、図９（イ）に点線で示すように、変形部分Ｄ′を円周方向に移動させて作成されるし、穴部１２が矩形の場合、図９（ロ）に点線で示すように、対角線の交点を中心として回転させて作成されたり、図９（ハ）に点線で示すように、一辺に平行に移動させて作成される。
【００２３】
なお、本実施の形態においては、撮像手段としてロボット２に搭載されたカメラ３を採用しているが、デジタルカメラ等の外部カメラ１４を撮像手段として採用し、該外部カメラ１４により撮像された基準画像データを画像編集用パソコン５にダウンロードするようにしてもよい。
【００２４】
次に、上記装置による基準画像作成方法について、図１０に示すフローチャートを参照して詳述する。
【００２５】
ステップＳ1において自動車のボディ１に形成された対象個所である穴部１２をロボット２に搭載されたカメラ３あるいは外部カメラであるデジタルカメラ１４により撮像し、一つの基準画像Ａとして画像処理装置４に取り込む。ついで、ステップＳ2において前記基準画像Ａのデータをフロッピィディスク等の媒体を介して画像編集用パソコン５にダウンロードする。
【００２６】
そして、ステップＳ3において、画像編集用パソコン５を用いて、前記基準画像Ａを所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づいて加工して複数の基準画像Ｂ，Ｃ，Ｄ（図２参照）を編集作成する。
【００２７】
しかる後、ステップＳ4において上記のようにして得られた基準画像Ａ〜Ｄを画像処理装置４へアップロードし（図３参照）、これらの基準画像Ａ〜Ｄをパターンマッチング用のテンプレートとして用いる。つまり、図１１に示すように、カメラ３で撮像した基準穴の画像Ｂが表示された画面Ｐ上で上記テンプレートＡ〜Ｄのいずれかを走査させ、この画面Ｐ上で該テンプレートＡ〜Ｄのいずれかと基準穴の画像Ａ′とがマッチングしたときの該テンプレートＡ〜Ｄの中心座標（Ｘ，Ｙ）を読み取ることにより、上記基準穴ないしボディの位置を検出するのである。
【００２８】
上記した本実施の形態にかかる基準画像作成方法と従来の方法とを比較してみると、表１に示す差異がある。
【００２９】
【表１】
0003769857.tif 000002
【００３０】
上記したように本実施の形態においては、ロボット２のカメラ３あるいは外部カメラ１４により撮像された一つの基準画像Ａのデータを、画像処理装置４とのデータ授受により画像編集用パソコン５に取り込み、該基準画像Ａのデータに対して所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すことにより、実際の画像Ａ′とパターンマッチングさせるための複数の基準画像Ｂ〜Ｄを短期間で作成することができる。
【００３１】
なお、従来視覚センサー付きのロボットのオフラインティーチングの実用化は、動作部分のみ可能であった。そのため視覚の画像取りの部分はどうしても現物が必要で、完全オフラインティーチングができなかったが、本実施の形態におけるように外部で基準画像データを作成することができるようにすれば、視覚処理部分のオフライン化が可能となる。
【００３２】
また、上記実施の形態においては、２値化画像に基づいて説明したが、例えば、グレー画像またはカラー画像を用いてもよい。
【発明の効果】
【００３３】
本願発明によれば、一つの基準画像データに対して所定の条件（例えば、撮像時に用いられる照明の照射方向、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すようにしているので、実際の画像とパターンマッチングさせるための複数の基準画像（例えば、照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部）を短期間で作成することができるという優れた効果がある。
【図面の簡単な説明】
【図１】  本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法を実行するための装置の概略構成図である。
【図２】  本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法において基準画像作成状態を示す概略構成図である。
【図３】  本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法において基準画像教示状態を示す概略構成図である。
【図４】  本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成装置における画像処理装置の構成を示すブロック図である。
【図５】  物体の対象個所（即ち、穴部）を撮像する方法の一つを示す説明図である。
【図６】  物体の対象個所（即ち、穴部）の形状変化の一例を示す説明図である。
【図７】  （イ）は背景色を示す基準画像図、（ロ）は背景色が黒の場合における穴部と背景色との境界を決定するために用いられるシキイ値を示す図である。
【図８】  （イ）、（ロ）は穴部が円形の場合における影部の異なる基準画像の作成方法を説明する図、（ハ）、（ニ）は穴部が矩形の場合における基準画像の作成方法を説明する図である。
【図９】  （イ）は穴部が円形の場合における変形部分の位置の異なる基準画像の作成方法を説明する図、（ロ）、（ハ）は穴部が矩形の場合における変形部分の位置の異なる基準画像の作成方法を説明する図である。
【図１０】  本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法の手順を示すフローチャートである。
【図１１】  パターンマッチングの方法を説明するための説明図である。
【符号の説明】
１は物体（ボディ）、２はロボット、３は撮像手段（カメラ）、４は画像処理装置、５は画像編集用パソコン、１２は対象個所（穴部）、１３は治具、１４は外部カメラ（デジタルカメラ）、Ａは一つの基準画像、Ｂ〜Ｄは編集作成された基準画像、Ａ′は実際の画像。
【図１】
0003769857.tif 000003
【図２】
0003769857.tif 000004
【図３】
0003769857.tif 000005
【図４】
0003769857.tif 000006
【図５】
0003769857.tif 000007
【図６】
0003769857.tif 000008
【図７】
0003769857.tif 000009
【図８】
0003769857.tif 000010
【図９】
0003769857.tif 000011
【図１０】
0003769857.tif 000012
【図１１】
0003769857.tif 000013