(57)【特許請求の範囲】
【請求項１】
対象物の画像をＣＣＤカメラによりフレームＲＡＭに取り込み、取り込まれたＸＹ座標上の画像から所定領域の画像の濃淡値をＸ座標毎に呼び出してＸ座標毎にＹ方向の画像の濃淡値を加算してその加算値をＸ座標に対応する変数毎にＹ方向射影情報として記憶し、このＹ方向射影情報からそのピーク値およびピーク位置を順次検出するように構成した対象物の画像検出方法において、
各画像のＹ方向射影情報のピーク値を検出して、その最大ピーク値から画像の有無を判定する射影しきい値を設定することを特徴とする対象物の画像検出方法。
【請求項２】
ＣＣＤカメラによりフレームＲＡＭに取り込まれた画像の中心から所定角度毎の所定幅の画素が持つ画像情報から展開画像を得て、この展開画像からＸ座標毎にＹ方向の画像の濃淡値を加算してその加算値をＸ座標に対応する変数毎にＹ方向射影情報として記憶するように構成したことを特徴とする請求項１に記載の対象物の画像検出方法。
【請求項３】
Ｙ方向射影情報からそのピーク数を順次検出することを特徴とする請求項１または２に記載の対象物の画像検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤカメラにより取り込まれた画像から対象物の画像を検出する対象物の画像検出方法に関する。
【０００２】
【従来の技術】
最近、各種製品の自動組立あるいは製品の良否判定にあっては、組立部品あるいは被検査製品（以下、部品という）の認識等にＣＣＤカメラがしばしば使用され、ＣＣＤカメラにより取り込まれた部品の画像から、部品が所定の部品か否かや、不良品でないか否かの判定が行われている。その際、ＣＣＤカメラにより取り込まれた画像はその濃淡を示すアナログ信号あるいは二値化信号としてフレームＲＡＭでなる画像記憶部で記憶され、この画像記憶部で記憶された画像信号が直接走査され、部品の認識が行われている。
【０００３】
【発明が解決しようとする課題】
この対象物の画像検出方法では、部品周囲の照明状態に不均一さがあったり、部品の汚れがあったり、また部品のめっき被膜の状態によって輝度が変わったりすることがあると、ＣＣＤカメラにより取り込まれる画像が一部暗くなったり、対象物の画像が一部欠けたりすることがある。この画像から直接部品を認識すると、部品が所定の部品でないと判断されたり、不良品と判断されることがあり、画像を取り込む際の周囲の環境や部品の状態に関係なく、確実に部品を認識することができる画像検出方法が要望されている。
【０００４】
本発明は、上記要望に鑑み発明されたもので、ＣＣＤカメラにより取込まれた対象物の画像が周囲の照明状態、あるいは部品のめっき被膜の状態によって一部暗くなったり、欠けたりするようなことがあってもその画像の特徴点を確実にとらえ、画像を認識することができる対象物の画像検出方法を提供しようとするものである。
【０００５】
【課題を解決するための手段】
対象物の画像をＣＣＤカメラによりフレームＲＡＭに取り込み、取り込まれたＸＹ座標上の画像から所定領域の画像の濃淡値をＸ座標毎に呼び出してＸ座標毎にＹ方向の画像の濃淡値を加算してその加算値をＸ座標に対応する変数毎にＹ方向射影情報として記憶し、このＹ方向射影情報からそのピーク位置を順次検出するように構成されている。また、各画像のＹ方向射影情報のピーク値を検出すると、その最大ピーク値から画像の有無を判定する射影しきい値を設定するように構成されている。そのため、ＣＣＤカメラにより取り込まれた画像の識別をそのＹ方向の射影情報により行え、対象物の汚れで画像の一部が欠けるようなことがあっても、対象物の特徴点を確実に検出してこれを識別することができる。また、ＣＣＤカメラにより取り込まれた対象物の画像が周囲の照明条件で一部暗かったり、逆にハレーションがあったりしてＹ方向射影情報が変動することがあっても、その時のＹ方向射影情報の最大値から画像の有無を判定する射影しきい値を設定しているため、対象物を確実に検出することができる。
【０００６】
また、取り込まれた画像の中心から所定角度毎の所定幅の画素が持つ画像情報から展開画像を得て、この展開画像からＸ座標毎にＹ方向の画像の濃淡値を加算してその加算値をＸ座標に対応する変数毎にＹ方向射影情報としてもよい。この場合、対象物が円形状である時には、その円周上の特徴点を検出できるばかりか、Ｙ方向射影情報のピーク数から対象物の個数を検出することができる。
【０００７】
【発明の実施の形態】
以下、図面に基づき本発明の実施の形態を組立部品に貼付されたバーコードラベル（以下、ラベルという）９の検出について説明する。図１において、１はＣＣＤカメラ２を備えた画像検出装置であり、この画像検出装置１からの情報を受けてラベル９の種類の読取りを行う読取り装置（図示せず）とともに、自動組立ラインのラベル認識ステーションに配置されている。このラベル認識ステーションには、組立部品の位置決め装置（図示せず）が配置されており、ラベル９が所定の姿勢で、しかも所定の位置に位置決めされ、常時ＣＣＤカメラ２の中心位置近くにラベル９の画像が現れるように構成されている。また、自動組立ラインの主制御装置（図示せず）はラベル認識ステーションに組立部品（図示せず）が位置するとラベル識別指令信号を出力するように構成されている。
【０００８】
前記画像検出装置１は、ラベル識別指令信号を受けると駆動指令信号を出力する制御部３と、駆動指令信号により作動するＣＣＤカメラインタフェイス４と、ＣＣＤカメラ２の各画素の持つ輝度信号に応じた２５６段階の濃淡値を記憶する画像記憶領域５ａを有するフレームＲＡＭ５と、ラベル９の識別に必要な各種基準情報等各種データ、設定モードあるいは検出モードのモード指令信号を入力する操作部６と、各種基準情報を記憶するデータ記憶領域、ラベル９の濃淡画像から得られる射影情報を記憶する射影記憶領域並びに後記するピーク位置Ｐ(n)およびピーク数Ｐnを記憶するピーク記憶領域を有する記憶部7と、フレームＲＡＭ５あるいは記憶部7に記憶された情報に応じて画像等を表示する表示部8とからなっている。
【０００９】
前記ＣＣＤカメラインタフェイス４はＣＣＤカメラ２の各画素が持つ輝度信号を２５６段階の濃淡値に変換して、これらをフレームＲＡＭ５にそのアドレスとともに出力し、ＣＣＤカメラ２に取り込まれた画像がフレームＲＡＭ５の画像記憶領域５ａにＣＣＤカメラ２の撮像面を構成する画素に対応した直交座標上の濃淡画像として記憶されるように構成されている。また、前記制御部３とフレ−ムＲＡＭ５、操作部６、記憶部７、表示部８とは、それぞれインタフェイスバスにより接続されている。なお、フレームＲＡＭ５に記憶される画素の持つ情報は二値化された信号であってもよい。
【００１０】
前記制御部３は、設定モード時、所定位置に位置決めされたラベル９の画像をＣＣＤカメラ２で取り込み、これをフレームＲＡＭ５の画像記憶領域に記憶するとともに、表示部８でこれを表示するように構成されている。また、制御部３は設定モード時、表示部８上に表示された濃淡画像から射影画像取出しウィンドウ (以下、ウインドウという）Ｗが設定されると（図４参照）、ウィンドウＷの座標始点Ｑ(Xo, Yo)およびその幅（Ｗx，Ｗy）を記憶するとともに、画面上で指示されるバーコードの幅に対応するピーク幅Ｐwを記憶するように構成されている。さらに、この制御部３は、設定モード時、画像記憶領域の濃淡画像からウィンドウＷ内のＸ座標に対応するすべてのＹ座標の濃淡値を順次加算してＹ方向射影情報Ｈ(i)を得て、これをＸ座標に対応する変数i毎に射影記憶領域に記憶するように構成されている。しかも、制御部３は設定モード時Ｙ方向射影情報Ｈ(i)を表示部でグラフ表示し（図５参照）、その画面上で検出対象のバーコードと他の画像とを識別可能な座標が指示されると、Ｙ方向射影情報の最大値に対するそのＹ方向座標の比率をしきい値設定係数Thとして記憶するように構成されている。
【００１１】
また、前記制御部３は検出モード時、自動組立ラインの主制御装置からラベル識別指令信号を受けると、図２および図３に示すように、
１）ＣＣＤカメラインタフェイスに駆動指令信号を出力する（フレームＲＡＭの画像記憶領域に濃淡画像が記憶される）。
２）Ｘ＝Xo、i = 0 にセット。
３）フレームＲＡＭの画像記憶領域から、ウィンドウのＸ座標に対応するすべてのＹ座標の濃淡値を順次（ＹがYoからYo＋Ｗyに達するまで）加算してＹ方向射影情報Ｈ(i)を得て、これらを画像のＸ座標に対応する変数iに対応して、射影記憶領域に記憶する。
４）Ｘ＜ Xo + Ｗxか否かを判定し、Ｘ＜ Xo + Ｗxの時、Ｘ＝Ｘ＋１、i = i +   1として、３）に戻る。
５）ピーク幅Ｐwおよびしきい値設定係数Thを呼び出し、これを記憶するとともに、最大ピーク値変数Ｐmax = ０、ピーク数ｎ = ０にセットする。
６）変数i = ０にセットし、射影記憶領域から変数i＝０に対応するＹ方向射影情報Ｈ(i)を呼び出し、このＹ方向射影情報Ｈ(i)を最大値変数Ｈmax、変数iを位置変数Ｉmax として記憶する（Ｈmax  = Ｈ(i)、Ｉmax =ｉ）。
７）変数i＝i＋１
８）射影記憶領域から変数iに対応するＹ方向射影情報Ｈ(i)を呼び出し、これを最大値変数Ｈmaxと比較し、Ｈmax ＜ Ｈ(i) の時、Ｈmax = Ｈ(i)、Ｉmax = iにセットする。
９）変数i＜Ｗxか否かを判定し、変数i＜Ｗxの時、７）に戻る。
１０）最大ピーク値変数Ｐmaxとしきい値設定係数Thとの積から射影しきい値ＰThを求め、最大値変数Ｈmaxと射影しきい値ＰThとを比較し、Ｈmax ＞ＰTh でない時、１５）にジャンプする（ピーク情報取得終了）。
１１）位置変数Ｉmaxをピーク位置情報Ｐ(n)としてピーク記憶領域に記憶する。
１２）射影記憶領域にあるＹ方向射影情報Ｈ(i)に対し、変数Ｉmaxを中心にピーク幅Ｐw分の変数に対応する区間、すなわちＩmax - Ｐw / 2 ≦ i ≦ Ｉmax +Ｐw / 2  の区間のＹ方向射影情報Ｈ(i)を0にクリアする。
１３）最大値変数Ｈmaxと最大ピーク値変数Ｐmaxを比較し、Ｈmax ＞ Ｐmax の時、最大値変数Ｈmaxの値を最大ピーク値変数Ｐmaxに記憶する。
１４）ピーク数ｎ =ｎ + １とするとともに、最大値変数Ｈmax＝０にセットし、７）に戻る。
１５）ピーク数ｎをピーク記憶領域にあるピーク数Ｐnとして記憶する。
１６）射影処理完了信号を出力するとともに、ピーク記憶領域にあるピーク位置情報Ｐ(n)とピーク数Ｐnを読取り装置に出力する。
１７）エンド。
となるように構成されている。
【００１２】
前記読取り装置は、ラベル９のＹ方向射影情報から求めたピーク位置情報Ｐ(n)とそのピーク数Ｐnからあらかじめ記憶された条件、すなわちバーコードの左側の所定幅に画像がないという条件で各ピーク位置がバーコードのスタートマークか否かを判定し、スタートマークを検出するように構成されている。また、この読取り装置はスタートマークと他のピーク位置Ｐ(n)からバーコードとそれ以外の画像の特徴点を区別するとともに、バーコードの値を読取り、その値をあらかじめ設定されたバーコードと同一か否かを判定するために検査装置（図示せず）に送るように構成されている。
【００１３】
上記画像検出装置１では、検出モード時には、ＣＣＤカメラ２の下方にラベル９が貼付された組立部品が停止すると、自動組立ラインの主制御装置からラベル識別指令信号が出力され、制御部３からＣＣＤカメラインタフェイス４に駆動指令信号が出力される。そのため、ＣＣＤカメラ２の各画素の持つ輝度に応じた２５６段階の濃淡値がそのアドレスとともに、フレームＲＡＭ５の画像記憶領域５ａに順次出力され、ＣＣＤカメラ２の撮像面を構成する画素に対応する直交座標上に濃淡画像が記憶される。この濃淡画像から、あらかじめ指定されたウィンドウＷの座標始点Ｑ(Xo, Yo)とウインドウ幅（Ｗx，Ｗy）で決まる領域の濃淡画像がＸ座標毎に順次呼び出されて、そのＹ座標が持つ濃淡値が加算され、この加算値が記憶部７に送られ、記憶部７の射影記憶領域で各Ｘ座標に対応する変数i毎にＹ方向射影情報Ｈ(i)として記憶される。
【００１４】
組立部品の射影情報が記憶されると、記憶部７から変数i＝０に対応するＹ方向射影情報Ｈ(i)が呼び出され、これが最大値変数Ｈmaxとして記憶されるとともに、その変数i＝０が位置変数Ｉmaxとして記憶される。続いて、変数i＝１に対応するＹ方向射影情報Ｈ(i)が呼び出され、これと最大値変数Ｈmaxとが比較され、大きい方が最大値変数Ｈmaxとして、またその変数iが位置変数Ｉmaxとして記憶される。同様に、順次変数iに対応するＹ方向射影情報Ｈ(i)がウインドウ幅Ｗx分呼び出され、ウィンドウＷ内のＹ方向射影情報Ｈ(i)のピーク値が検出され、その位置変数Ｉmaxがピーク位置Ｐ(n)として記憶される（ピーク数ｎを＋１する）。
【００１５】
Ｙ方向射影情報のピーク位置Ｐ(n)が検出されると、その変数iを中心に所定バーコード幅に相当する変数iに対応するＹ方向射影情報Ｈ(i)がクリアされると同時に、初回に検出されたピーク値が最大ピーク値変数Ｐmaxとして記憶される。続いて、残りのＹ方向射影情報Ｈ(i)から同様にそのピーク値の検出が行われ、その位置変数Ｉmaxがピーク位置Ｐ(n)として記憶される（ピーク数ｎを＋１する）。この間、最大値変数Ｈmaxがあらかじめ指定されたしきい値設定係数Thと最大ピーク値変数Ｐmaxの積からなる射影しきい値ＰThよりも小さくなると、バーコードに対応する画像がないと判断され、射影処理完了信号が出力されてピーク検出が終了する。
【００１６】
これと同時に、ピーク数ｎがピーク記憶領域でピーク数Ｐnとして記憶され、さらにこのピーク数Ｐnとピーク位置P(n)がすべて読取り装置に送られる。これら情報とあらかじめ記憶された条件とからラベル９に印刷されたバーコードとそれ以外の画像とが区別されるとともに、バーコードのスタートマークが検出され、このスタートマークと他のピーク位置とからラベル９に印刷されたバーコードが数値として読み取られる。その後、この値が検査装置に送られ,検査装置であらかじめ設定されたバーコードと同一か否かが判定され、部品の良否判定がなされる。
【００１７】
なお、実施例ではバーコードが印刷されたラベル９について説明されているが、所定間隔をおいて一列に配置された部品、例えば一列に配置された鋼球を持つボールリテイナの良否判定等にも利用することができる。また、実施例ではＹ方向の射影情報が記憶されるように構成されているが、対象物によっては、Ｘ方向の射影情報を記憶してもよい。さらに、ＣＣＤカメラにより取り込まれた画像から対象画像が円形状として取出せる場合には、その中心から所定角度毎に放射状に延びる所定幅内の画素が持つ画像情報から展開画像を作成して、これから射影情報を得るようにしてもよい。この場合、ボールベアリングの組立時に円周上に配置されたボールの個数を計数し、ボールベアリングの不良品を排除することができる。
【００１８】
【発明の効果】
以上説明したように、本発明は対象物の画像をＣＣＤカメラによりフレームＲＡＭに取り込み、取り込まれたＸＹ座標上の画像から所定領域の画像情報を呼び出してこの画像情報からＸ座標毎にＹ方向の画像の濃淡値を加算してその加算値をＸ座標に対応する変数毎に記憶し、このＹ方向の射影情報からピーク位置を順次検出するとともに、各画像のＹ方向射影情報のピーク値を検出すると、その最大ピーク値から画像の有無を判定する射影しきい値を設定するように構成されている。そのため、ＣＣＤカメラにより取り込まれた画像の識別をそのＹ方向の射影情報により行え、対象物の汚れで一部が欠けるようなことがあっても、確実にその対象物の特徴点を検出してこれを識別することができるばかりか、ＣＣＤカメラにより取り込まれた画像が周囲の照明条件で一部かすんだり、逆にハレーションがあったりしてＹ方向射影情報が変動することがあっても、その時のＹ方向射影情報の最大値から画像の有無を判定する射影しきい値を設定しているため、対象物を確実に検出することができる等の利点がある。また、本発明は取り込まれた画像の中心から所定角度毎の所定幅の画素が持つ画像情報から展開画像を得て、この展開画像からＹ方向射影情報を得ているため、対象物が円形状である場合、その円周上の特徴点を検出できるばかりか、ボールベアリングの組立時には円周上に配置されたボールの個数を計数することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概略説明図である。
【図２】本発明に係る制御部の前半部分の概略動作を説明するフローチャートである。
【図３】本発明に係る制御部の後半部分の概略動作を説明するフローチャートである。
【図４】本発明に係る画像記憶領域に記憶された濃淡画像の説明図である。
【図５】本発明に係る射影記憶領域のデータをグラフ化した説明図である。
【符号の説明】
１  画像検出装置
２  ＣＣＤカメラ
３  制御部
４  ＣＣＤカメラインタフェイス
５  フレームＲＡＭ
５ａ  画像記憶領域
６  操作部
７  記憶部
８  表示部
９  ラベル
【図１】
0003730798.tif 000002
【図２】
0003730798.tif 000003
【図３】
0003730798.tif 000004
【図４】
0003730798.tif 000005
【図５】
0003730798.tif 000006