(57)【要約】本発明では、検査画像を小さなウインドーに分け、標準偏差を計算して異物の有無を判定する方法により、高速で高精度な外観画像検査装置を実現できた。【課題】人による作業は、精度、コストで問題があった。また機械化は汎用装置の組み合わせでは性能が不十分であった。【解決手段】上記の問題点を解決するために下記のような手段を提案する。（１）ウインドーサイズ（たとえば１６＊１６画素）に分割し、標準偏差を計算する。（２）不良画像取り込みと場所マークで生産性をあげる。（３）不良画像のみ蓄積、表示する手段と全ての画像を蓄積、表示する二通りの手段を設ける。（４）検査エリアの画画像処理パラメータを設定しやすい仕組みを作る。【選択図】　　　　図１
2004144615.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物の画像をメモリー内、
またはコンピューターに取り込んで該取り込み画像に対して異物の検出を行なう外観画像検査装置において、
検査対象画像を所定ウインドーサイズ（たとえば１６＊１６画素）に分割し、
該ウインドーサイズ内画像データの標準偏差を計算する手段を有し、
該標準偏差の大きさが、所定の値以上の場合は異物ありと判定する事を特徴とする。
【請求項２】
上記１において、
検査対象内の該異物の大きさに応じて
該ウインドーサイズを切りかえる手段を有することを特徴とする外観画像検査装置。
【請求項３】
上記１において、
比較判定用のレファレンス画像を用意して、
該レファレンス画像と該検査対象画像の同じ領域で該該ウインドーサイズを設定し、
該検査対象画像の該標準偏差値が該レファレンス画像の
該標準偏差値に対し所定倍以上の場合は異物ありと判定する事を特徴とする。
【請求項４】
検査対象物の画像をメモリー内、
またはコンピューターに取り込んで該取り込み画像に対して
異物の検出を行なう外観画像検査装置において、
該対象画像のデザイン中に、基準位置検出用のマークを設定する手段を有し、
該基準位置マークは、所定エリア内に連続する固定色で判定する事を特徴とする。
【請求項５】
上記４において、
該基準位置マークからの相対座標で検査対象エリアを抽出する事を特徴とする。
【請求項６】
検査対象物の画像をメモリー内、
またはコンピューターに取り込んで該取り込み画像に対して
異物の検出を行なう外観画像検査装置において、不良品が発生したときに、
該不良画像をＰＣに取り込み不良個所にマークする手段と不良理由を表示する手段を有する事を特徴とする。
【請求項７】
上記６において、
該不良画像のみ蓄積、表示する手段と、
全ての画像を蓄積、表示する二通りの手段を有する事を特徴とする。
【請求項８】
検査対象物の画像をメモリー内、
またはコンピューターに取り込んで該取り込み画像に対して
異物の検出を行なう外観画像検査装置において、
検査対象のエリアを指定する手段を持ち、
指定したエリアの画像データ及び計算結果を表示する手段を持ち、
これらの数値を参考にして目的の画像処理パラメータを設定できる事を特徴とする。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、カメラで撮影した画像データ内の異常を自動検出する画像検査装置において、
「異常を自動検出するアルゴリズム」及び「合理的なシステム構成」に関する。
【０００２】
【従来の技術】
従来、製品の外観検査は人の目で行なうことが主であった。
外観検査とは、製品に傷がないか、ゴミは付着していないか、
汚れはないか、色のムラはないか、異なる部品がついていないか、等々の確認である。
見やすいように照明を工夫したり、拡大レンズを付けたりして検査することもある。
【０００３】
これを機械化することも検討され、部分的にはかなり実施されている。
具体的にはカメラ、照明、の駆動装置、画像処理ハードウエア、
コンピューターソフトウエアからなる。
【０００４】
また、通常は正常な画像と検査画像を比較して問題点の有無を判断するパターンマッチングと言う手法が用いられている。
【０００５】
【発明が解決しようとする課題】
本発明が解決しようとしているのは、下記の課題である。
【０００６】
（１）人による作業は、検査対象が小さい場合が多く、
疲れによる作業者への負担や、見落とし、判断の個人差等の問題があった。
【０００７】
（２）機械化が一部にしか行き渡らないのは、
汎用装置の組み合わせでは本当に効果的なレベルまで性能を上げることが出来ない。
専用のシステムを組むと高価であり、仕様変更や他の製品への再利用がやりにくい問題が指摘されていた。
【０００８】
（３）パターンマッチングを行なう場合は、
画像の位置合わせにかかる時間が問題になる。
上下左右のズレ、回転方向のズレを補正するには、
ファイルサイズの大きな検査画像をアフィン変換する等の処理時間がかかる作業が必要であった。
【０００９】
（４）従来の装置は、操作性がよくなかった。具体的にはどういう理由で、
不良と判定されたのか。また不良と判定された位置がどこか、
不良と判定した画像を見たい。というユーザーからの強い要望があった。
また検査対象物を切りかえる場合に、設定するパラメーターを変更する必要があるが、
そこに時間が大きくかかるようでは、全体の生産性を高めることが出来ない。
【００１０】
【課題を解決するための手段】
上記の問題点を解決するために下記のような手段を提案する。
【００１１】
（１）高速処理を可能とするために、
検査対象画像を所定ウインドーサイズ（たとえば１６＊１６画素）に分割し、
ウインドーサイズ内画像データの標準偏差を計算する。
この標準偏差の大きさが、
所定の値以上の場合は異物あり事でパターンマッチングを行なわずに高精度な検査が可能になる。
【００１２】
（２）いろいりな大きさの異物を判定できるようにウインドーサイズを切りかえる。
【００１３】
（３）比較判定用のレファレンス画像を用意して、
レファレンス画像と検査対象画像の標準偏差値を比較して判定する。
これによりより精度がアップする。
【００１４】
（４）画像の位置決め手段として、
デザイン中にベタ塗りの領域を見つけて、
基準位置検出用のマークとする。
基準位置マークからの相対座標で
検査対象エリアを抽出する事で必要な領域のみを検査して
時間的コストを低減する。
【００１５】
（５）不良品が発生したときに、
不良画像をＰＣに取り込み不良個所にマークして同時に不良理由を表示する手段する事で、
不良原因と現象を正確に把握する事が出来る。
【００１６】
（６）該不良画像のみ蓄積、表示する手段と、
全ての画像を蓄積、表示する二通りの手段を有する事で
通常の運転では不良検出のみが目的であるから前者を適用する。
テスト運転では、たとえば検査対象の２０個のサンプルがあり全ての画像を、
パラメータを切替ながら目視でチェックする必要があるので後者を適用する。
【００１７】
（７）検査対象のエリアを指定し、
指定したエリアの画像データ及び計算結果を表示し、
これらの数値を見ながら画像処理パラメータを設定する事で、
装置運用の生産性を大きくアップする事が出来る。
【００１８】
【発明の実施の形態】
本発明では、検査画像を小さなウインドーに分け、
ウインドー内の標準偏差を計算して異物の有無を判定する方法により、
高速で高精度な外観画像検査装置を実現できた。
また、画像の位置決め方法や不良画像認識方法、
パラメータ設定方法を工夫して生産性が高く使い勝手の良いシステムを実現することが出来た。
【００１９】
【実施例】
第１図は本発明の実施例構成図である。
まず、１は検査対象となる製品である。
製品１はモータに取付けられた回転治具と共に回転し、
製品全体を取り込めるようになっている。
なお、治具とモータは図示していない。
【００２０】
２はラインセンサカメラであり、
回転している１をコンピュータ画像として取込む装置である。
ラインセンサカメラ２は受光素子が一列の方向に配列されているため、
製品１をラインセンサカメラ２の取込動作と同期させて回転させ、
フレームグラバーボード９内で結合し、全体を構成している。
【００２１】
３はＬＥＤ照明であり、ＬＥＤが縦一列に配列されており、
ラインセンサカメラ２の取込列と同一方向に配列している仕組みになっている。このＬＥＤ照明３は集光レンズが内蔵されており、ラインセンサカメラ２の取込列に焦点が合わせられている。
【００２２】
４はＬＥＤ調光ユニットであり、３の光量を調節する装置である。
調節はメインコンピュータ７から指定でき、
ラインセンサ中継ユニット６を通して行われる。
【００２３】
５はラインセンサ信号ユニットであり、
２から送られてきたカメラリンク仕様の画像信号を３２ビットＲＧＢの画像信号に変換する装置である。
なお、この装置はラインセンサカメラ２の電源も兼ねている。
【００２４】
６はラインセンサ中継ユニットであり、メインコンピュータ７からの制御下でラインセンサカメラ２からの画像の高速画像処理とメインコンピュータ７に転送する機能を持っている。
【００２５】
７はメインコンピュータであり、ラインセンサカメラ２から送られてきた画像に対して
検出処理とラインセンサ中継ユニッ６に制御信号を送っている。
利用者はこれらに付属のキーボード、マウスを通じて操作し、検査を行う。
【００２６】
８はグラフィックカードであり、
ラインセンサカメラ２の画像の表示や装置の状態を
コンピュータディスプレイ１１に行う装置である。
グラフィックカード８はメインコンピュータ７に内蔵されている。
【００２７】
９はラインセンサカメラ２に対応したフレームグラバーボードである。
メインコンピュータ７はこの装置を通じてラインセンサカメラ２の画像信号を受取り、
画像処理を行っている。
【００２８】
１０は入出力ボードであり、
ラインセンサ中継ユニッ６とメインコンピュータ７との
制御信号を入出力するための装置である。
【００２９】
１１はコンピュータディスプレイであり、
メインコンピュータ７に内蔵されたグラフィックカード８から出力される画像信号を表示するための装置である。
【００３０】
１２はシーケンサであり、ラベルを貼付する装置の動作状態が送られてくる。
ラインセンサ中継ユニッ６が中継し、メインコンピュータ７に転送している。
製品の良否判定の結果はこの信号に通じてシーケンサ１２に送られ、
製品検査工程の後、不良製品の排出を行っている。
【００３１】
第２図は製品を取込んだ際の画像（概略）である。
取込んだ画像を一括で画像処理した場合、
製品に含まれる意匠１００が検出の妨げになることがあるため、
製品中の任意の部分を選択し、検出を行う必要がある。
【００３２】
しかし、取込み動作と同期せずに回転している製品において、
製品の特定箇所を指定することは事実上不可能であり、
実現した場合でも、検出処理の高速化を妨げる可能性がある。
【００３３】
これを解決するにあたり、
まず取込んだ画像中で製品の開始位置を特定できる目印を印刷した。
【００３４】
これは、製品内に一定の基準位置１０１を印刷し、
画像処理において基準位置１０１を認識することで
製品の任意箇所の指定が可能とするためである。
【００３５】
基準位置１０１は、製品中の固定位置に一定の色で印刷された矩形領域となっている。
この基準位置１０１を設定することにより、
回転中の製品がどのようなタイミングで取込まれても一定の場所を特定でき、
安定した検出処理を実現できる。
【００３６】
第３図は、検出範囲内の標準偏差から異物２０２の有無を検出するアルゴリズムの概念図である。
異物２０２を検出する手段を複数用意することにより、
複雑な意匠を含んだ製品に対しても安定した検査が可能となるよう対応した。
主な手段としては、標準偏差の値を利用する検出方法であるが、
製品の意匠や形状に対応するため、
判定領域のサイズ変更や基準画像との比較をするなどの方法を取り入れることで対応している。
【００３７】
製品中に入り込んだ異物２０２は、一様に黒くなる傾向がある。
そのため、取込まれた画素の標準偏差を算出した場合、
必然的に異物を含まない場合２０１より大きくなる結果２０３となる。
この性質を利用することで、製品中の異物を判定する事が可能となる。
【００３８】
詳細な実装方法を述べると、選択領域内を一括して検出処理した場合、
領域内での色ムラや輝度ムラが発生していることが考えられるので、
検出精度を上げるため、まず検査領域内を１６ｘ１６画素の小領域（ウィンドウ）２００で分割し、
ウィンドウ２００内の標準偏差を算出した。
【００３９】
この時の算出された値があらかじめ設定されている検出設定値　ｘ　定数倍の値を超えた場合、
そのウィンドウ内２００には異物が存在している２０４という判定を行っている。
しかし、この検出方法には問題があり、
ウィンドウ２００のサイズの面積を超える異物２０５が存在した場合、
逆に標準偏差が正常値と変わらない結果２０６となる場合が考えられる。
この現象を避けるため、ウィンドウのサイズを６４ｘ６４に変更２０８し、
再度検出処理を行った後、最終的な判定結果を出力している。
【００４０】
また、新たな実施例としてリファレンス画像との比較を用いる方法を提案する。判定を行う際に基準画像をあらかじめ読込んでおき、
正常であった場合のサンプルとしてリファレンス画像３０１を用意した。
このリファレンス画像３０１の同一位置の標準偏差３０３と現在取込まれた取込み画像３００の標準偏差３０２を比較することで、
検査対象となる箇所が製品中のどこであったしても安定した検出を実現している。
【００４１】
自動外観検査は、検査装置を利用者の要求通りに、かつ自由度の高い設定が最も重要である。
しかし、その操作が煩雑であるとか、設定が複雑すぎる場合、
利用者が使いこなせないばかりか、検査機能を十分に発揮できない可能性がある。
本システムでは、検出用パラメータ設定の容易さＮＧ結果の有効利用、
生産管理システムとの連動に重点をおき、検査システムとしての充実化を実現している。
【００４２】
まず、検査画像の使われ方であるが、
本システムでは、新製品の検出動作などのテスト動作を行う際は、
検出パラメータの設定や目視による確認のため、
良品・不良品にかかわらず全ての画像を保存しておき、
一方、通常動作の場合では後日、不良対策の資料として利用するだけであるので、
ＮＧ画像のみを保存すると言う選択が可能である。
【００４３】
しかし、ＮＧ画像の数が少なかったとしても、
過去全ての画像を蓄積してはメインコンピュータ７のディスク容量が不足し、
検出処理に支障があることが考えられるので、
一定枚数を超えた画像については上書きすることでディスク容量の節約をはかっている。
【００４４】
第４図は、検出パラメータの設定画面であるが、
この画面中では、検査の基準位置１０１を指定し、
１０１をもとに製品中において、任意の位置を特定することが可能である。
【００４５】
これらの検出パラメータを検出結果と数値だけで作業した場合、
パラメータの設定は非常に煩雑になり、
安定した結果が出せないばかりか、
検査システムとして有効活用されない可能性がある。
しかし、本システムは画面中に選択領域の最大・最小値、標準偏差と平均値を表示している。
【００４６】
また、画面のオプション指定により、検査対象領域の画面同時表示が可能である。
このため、設定が煩雑になることもなく、
容易に値を設定・変更できるため、利用者に負担をかけることなくシステム運用が可能といえる。
【００４７】
【図面の簡単な説明】
【図１】本発明の構成例
【図２】製品取込みの概略図
【図３】異物と標準偏差の概要
【図４】基準画像を用いた検出の概要
【図５】パラメータ設定例
【符号の説明】
１　　製品
２　　ラインセンサカメラ
３　　ＬＥＤ照明
４　　ＬＥＤ調光ユニット
５　　ラインセンサ信号ユニット
６　　ラインセンサ中継ユニット
７　　メインコンピュータ
８　　グラフィックカード
９　　フレームグラバーボード
１０　　入出力ボード
１１　　コンピュータディスプレイ
１２　　シーケンサ
１００　　意匠
１０１　　基準位置
２００　　ウィンドウ
２０１　　異物を含まない結果
２０２　　異物
２０３　　異物を含んだ結果
２０４　　異物として捕らえた結果
２０５　　ウィンドウの大きさを超える異物
２０６　　大きな異物を処理した結果
２０８　　サイズ変更後のウィンドウ
２０９　　サイズ変更したウィンドウで捕らえた異物
３００　　現在取込んだ製品画像
３０１　　リファレンス画像
３０２　　現在取込んだ製品画像の標準偏差
３０３　　リファレンス画像の標準偏差
【図１】
2004144615.tif 000003
【図２】
2004144615.tif 000004
【図３】
2004144615.tif 000005
【図４】
2004144615.tif 000006
【図５】
2004144615.tif 000007