(57)【特許請求の範囲】
【請求項１】
対象物品の画像を認識し、前記対象物品の画像が基準となるマスタ画像の所定の画像領域に対して所定の許容値内にあるか否かを判定する画像検査装置であって、
前記許容値は、前記マスタ画像の前記画像領域を構成する複数の小領域毎に設定し、前記各小領域毎に求めた特徴量Ａに対して前記画像領域を移動させた後に前記各小領域毎に求めた特徴量Ｂが、前記特徴量Ａに対して所定値Ｐ１内のときはＰ１とし、前記特徴量Ｂが前記特徴量Ａに対して前記所定値Ｐ１内でないときは、前記特徴量Ｂと特徴量Ａとの差に対応するＰ２とすることを特徴とする画像検査装置。
【請求項２】
マスタ画像の中に検査対象となる画像領域を設定し、この画像領域を複数の小領域に分割し、各小領域毎に特徴量Ａを抽出し、前記画像領域を移動させ移動後の各小領域毎に特徴量Ｂを抽出し、前記特徴量Ｂが前記特徴量Ａに対して所定値Ｐ１内のときは当該小領域の許容値をＰ１とし、前記特徴量Ｂが前記特徴量Ａに対して前記所定値Ｐ１内でないときは当該小領域の許容値を前記特徴量Ｂと前記特徴量Ａとの差に対応するＰ２として、各小領域毎に許容値を設定するマスタ登録処理と、
対象物品の画像を検査画像として取り込み、この検査画像を前記マスタ画像と一致させ、前記検査画像の中に前記マスタ画像と同様に検査対象となる画像領域および複数の小領域を設定し、各小領域毎に特徴量Ｄを抽出し、各特徴量Ｄが対応する小領域の許容値Ｐ１またはＰ２内にあるかを検査する検査処理と、
からなることを特徴とする画像検査方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像のパターンマッチング技術を用いて製品の検査、照合、仕分け等を行う画像検査装置および方法に関する。
【０００２】
【従来の技術】
パターンマッチング技術が応用される分野の中に、対象物品の画像を認識し、基準となる既知画像とのマッチングを行って、その良否を判定する検査システムがある。このような検査システムでは、対象物品をコンベア等によって移送し、対象物品の表面に付された文字、記号または模様等のパターンを撮像装置を用いて撮像し、その撮像画像と予め登録した既知画像とのマッチング結果から対象物品の良否を判定するようにしている。
【０００３】
【発明が解決しようとする課題】
しかし、対象物品が少量多品種に及ぶ場合は、良否の判定パラメータをマニュアルオペレーションによってその都度設定する作業が必要となり、多大の労力を要していた。
【０００４】
そこで、予め複数の判定パラメータを登録しておいて適宜切り替える方法や、学習方式による実物ワークからマッチングに必要な判定パラメータを自動的に抽出して登録する方法などがある。
【０００５】
しかし、前者の方法では、やはりマニュアルオペレーションによって切り替えるため労力を要し、かつオペレータの主観によって切り替えるため、オペレータによって判定基準が変動するという不都合がある。また、後者の方法では、数個の対象物品を検査した後でなければ判定パラメータを抽出できないため、少量多品種の対象物品には適さないといった不都合がある。判定パラメータが最適化されないと、良品を不良品と誤判定したり、不良品を良品と誤判定したりして十分なマッチング精度が得られないとった不都合がある。
【０００６】
本発明は、このような従来の課題を解決するためになされたもので、最適な判定パラメータを自動的に調整して得ることができる画像検査装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の請求項１に記載の発明は、対象物品の画像を認識し、前記対象物品の画像が基準となるマスタ画像の所定の画像領域に対して所定の許容値内にあるか否かを判定する画像検査装置であって、前記許容値は、前記マスタ画像の前記画像領域を構成する複数の小領域毎に設定し、前記各小領域毎に求めた特徴量Ａに対して前記画像領域を移動させた後に前記各小領域毎に求めた特徴量Ｂが、前記特徴量Ａに対して所定値Ｐ１内のときはＰ１とし、前記特徴量Ｂが前記特徴量Ａに対して前記所定値Ｐ１内でないときは、前記特徴量Ｂと特徴量Ａとの差に対応するＰ２とすることを特徴とする。
【０００９】
本発明の請求項２に記載の画像検査方法は、マスタ画像の中に検査対象となる画像領域を設定し、この画像領域を複数の小領域に分割し、各小領域毎に特徴量Ａを抽出し、前記画像領域を移動させ移動後の各小領域毎に特徴量Ｂを抽出し、前記特徴量Ｂが前記特徴量Ａに対して所定値Ｐ１内のときは当該小領域の許容値をＰ１とし、前記特徴量Ｂが前記特徴量Ａに対して前記所定値Ｐ１内でないときは当該小領域の許容値を前記特徴量Ｂと前記特徴量Ａとの差に対応するＰ２として、各小領域毎に許容値を設定するマスタ登録処理と、対象物品の画像を検査画像として取り込み、この検査画像を前記マスタ画像と一致させ、前記検査画像の中に前記マスタ画像と同様に検査対象となる画像領域および複数の小領域を設定し、各小領域毎に特徴量Ｄを抽出し、各特徴量Ｄが対応する小領域の許容値Ｐ１またはＰ２内にあるかを検査する検査処理とからなることを特徴とする。
【００１０】
本発明によれば、マスタ画像と検査画像とのマッチングの際に予測される変動要素を考慮したシミュレーションを事前に自動的に実行し、すなわち検査対象となる画像領域を移動させて誤判定の要素の高い小領域に対しては自動的にその許容値を変更することにより、マッチングの際の誤判定率を低下させるようにしている。
【００１１】
【発明の実施の形態】
図１は、本発明による画像検査装置の一実施の形態を示すブロック図である。同図において、ビデオカメラ１によって撮影された画像は、画像入力部２でディジタル画像データに変換され、画像メモリ３に記憶される。画像メモリ３に記憶された画像データは、画像出力部４により読み出され、アナログ画像信号に変換された後に、ビデオモニタ５などの表示装置に表示される。
【００１２】
ＣＰＵ（中央処理装置）６は、この装置全体を制御する制御手段として機能するもので、アドレスバスおよびデータバスを含むシステムバス７を介してＣＰＵ６で行うプログラムが記憶されたプログラムメモリ（ＲＯＭ）８、外部から入力される各種データおよびＣＰＵ６での処理結果等が記憶されるワーキングメモリ（ＲＡＭ）９、後述する許容値（判定パラメータ）を記憶する判定パラメータメモリ１０、画像の中から検査対象とする画像領域を設定したり、この画像領域を複数の小領域（ブロック）に分割したり、各種のパラメータを設定したりする入力部１１にそれぞれ接続されている。
【００１３】
また、ＣＰＵ６はシステムバス７を介して画像入力部２、画像メモリ３および画像出力部４に接続されている。さらに、画像メモリ３とシステムバス７との間には、特徴量抽出部１２が接続されている。この特徴量抽出部１２は分割した各ブロック毎の特徴量を抽出するためのもので、例えば標準偏差値σを用いる。標準偏差値σは、ある画像領域内の濃度ヒストグラムにおいて、濃度レベルｉ（ｉ＝０〜２５５）に対する画素数をＰｉとし、全画像数をＮとすると、濃度平均値μは、
【００１４】
0003557814.tif 000002
となる。これから濃度分散値Ｖは、
【００１５】
0003557814.tif 000003
となる。この濃度分散値Ｖから標準偏差値σは、
【００１６】
0003557814.tif 000004
となる。
【００１７】
（動作説明）
次に、本発明の動作について説明する。本発明は検査の基準となる物品の画像をマスタ画像として取り込み、このマスタ画像の特徴量を求めると共に、各小領域毎の判定パラメータを設定するマスタ登録処理と、検査対象となる対象物品の画像を検査画像として取り込み、マスタ画像の特徴量と検査画像の特徴量とを比較し、各小領域毎の判定パラメータから対象物品の良否を判定する検査処理とがある。
【００１８】
なお、本実施の形態では、生産ロットの１番目の対象物品の画像をマスタ画像として取り込み、２番目以降の対象物品の画像を検査画像として取り込み、マスタ画像の特徴量と検査画像の特徴量とを比較して、生産ロットの２番目以降の対象物品の良否を判定するようにしている。
【００１９】
（マスタ登録処理）
まず、図２に示すフローチャートおよび図３に示す画像パターン図を参照しながら、生産ロットの１番目の対象物品の画像を検査の基準となるマスタ画像として取り込み、このマスタ画像の特徴量を求めるマスタ登録処理の手順について説明する。
【００２０】
初めに初期設定を行う（ステップＳ１，パターンＰＧ１）。この初期設定は入力部１１によって検査対象となる画像領域（以下、ウィンド、という）ＷＤを設定し、さらにこのウィンドＷＤ内を複数のブロック（複数ｍ×ｎ画素）ＢＬに分割する。
【００２１】
次いで、検査の基準となる生産ロットの１番目の対象物品をビデオカメラ１によって撮像し、画像メモリ３にマスタ画像として取り込む（ステップＳ２，パターンＰＧ２）。このとき対象物品をビデオカメラ１によって同じ場所で連続して２度撮像する。これは量子化誤差等を考慮したもので、それぞれ第１のマスタ画像Ｍａ，第２のマスタ画像Ｍｂとして画像メモリ３の２つのメモリ部３ａ，３ｂにそれぞれ記憶する。
【００２２】
次いで、マスタ画像Ｍａ，Ｍｂの各ウィンドＷＤ内を各４分割し、各分割領域の中から位置ずれ修正用マークを抽出する。位置ずれ修正用マークはマスタ画像Ｍａと後述する検査画像ＴＧとの位置合わせを行う際の基準となる。
【００２３】
位置ずれ修正用マークの抽出方法は、４分割した各領域において特徴量が最も大きいものを代表値とし、この４つの代表値の中から予め定めた優先順位にしたがって２つの代表値を選択し、その２つを位置ずれ修正用マークＵａ，Ｕｂと決め、位置データをＲＡＭ９に格納する（ステップＳ３，パターンＰＧ３）。
【００２４】
例えば、パターンＰＧ３に示すように、ウィンドＷＤ内を４つの領域ＷＤ１〜ＷＤ４に分割し、特徴量が最も大きい位置のマークをエッジ情報有りとして相互の距離ができるだけ離れた２つのマークを選択する。優先順位は、例えばＷＤ１−ＷＤ３、ＷＤ２−ＷＤ４、ＷＤ１−ＷＤ２、ＷＤ２−ＷＤ３、ＷＤ３−ＷＤ４、ＷＤ４−ＷＤ１である。この実施の形態では、画像左上の領域ＷＤ１内の黒星と画像右下の領域ＷＤ３の白星とを位置ずれ修正マークＵａ，Ｕｂとして選択している。
【００２５】
次いで、マスタ画像Ｍａ内に設定したウィンドＷＤの全てのブロックＢＬ毎に特徴量Ａとしての標準偏差値（以下、偏差値、という）σａを抽出する（ステップＳ４）。次いで、抽出した偏差値σａに応じた判定パラメータＰ１を設定し、判定パラメータメモリ１０に格納する（ステップＳ５，パターンＰＧ４）。各判定パラメータＰ１は生産ロットに関係なく偏差値σａの値に応じて予め設定された所定値である。この結果、判定パラメータメモリ１０には各ブロックの偏差値σａに応じた値の判定パラメータＰ１が記憶される。
【００２６】
次いで、ウィンドＷＤを画像上で左上に数画素移動させ（ステップＳ６，パターンＰＧ５）、移動後のウィンドの各ブロックの特徴量Ｂを偏差値σｂとして抽出し（ステップＳ７）、移動前の対応するブロックの偏差値σａと比較する（ステップＳ８）。
【００２７】
すなわち、偏差値σｂが偏差値σａに対し判定パラメータＰ１内にあるかを各ブロック毎に次式で比較し、
σａ−Ｐ１＜σｂ＜σａ＋Ｐ１  ・・・・（４）
式（４）の条件を満たすブロックの判定パラメータＰ１の値はそのままとし（ステップＳ９）、式（４）の条件を満たさないブロックの判定パラメータＰ１の値は変更する（ステップＳ１０）。このときの新たな判定パラメータＰ２の値は、特徴量Ａ（偏差値σａ）と特徴量Ｂ（偏差値σｂ）との差、すなわち、
Ｐ２＝｜σｂ−σａ｜＋β        ・・・・（５）
となる。βは判定の厳しさを調整するパラメータである。この処理を全ブロックについて行う（ステップＳ１１）。
【００２８】
次いで、ウィンドＷＤを他の方向に数画素移動させ、最終的に上下左右４方向でそれぞれステップＳ７〜Ｓ１１の処理を行い（ステップＳ１２）、各ブロック毎の判定パラメータＰ１またはＰ２を決定する。
【００２９】
図４に、ウィンドＷＤを上下左右に移動させて得た４つの仮想検査画像Ｉａ〜Ｉｄを示す。実線で示す画像領域が移動前のウィンドＷＤであり、破線で示す画像領域が仮想検査画像Ｉａ〜Ｉｄである。
【００３０】
この例では、ウィンドＷＤの開始位置座標を（ｘ，ｙ）とすると、図（ａ）は開始位置座標（ｘ−α，ｙ−α）の仮想検査画像Ｉａ、図（ｂ）は開始位置座標（ｘ＋α，ｙ−α）の仮想検査画像Ｉｂ、図（ｃ）は開始位置座標（ｘ−α，ｙ＋α）の仮想検査画像Ｉｃ、図（ｄ）は開始位置座標（ｘ＋α，ｙ＋α）の仮想検査画像Ｉｄを表している。
【００３１】
この結果、多くのブロックで式(４)の条件が成立しない場合は、初期設定の変更すなわちルックアップテーブルの変更が必要であると判断し（ステップＳ１３）、予め設定した判定パラメータＰ１の値の関係を示すルックアップテーブルを入力部１１で変更し（ステップＳ１４）、再びステップＳ６以降の処理を実行する。
【００３２】
（検査処理）
次に、図５に示すフローチャートおよび図６に示す画像パターン図を参照しながら、生産ロットの２番目以降の対象物品の良否を判定する検査処理の手順について説明する。まず、検査の対象となる対象物品がコンベア上を移送されて検査エリアに到達すると、ビデオカメラ１によって撮像し、検査画像ＴＧとして画像メモリ３のメモリ部３ｂに取り込む（ステップＴ１，パターンＱＧ１）。
【００３３】
次いで、この検査画像ＴＧの中から位置ずれ修正マークＶａ，Ｖｂを抽出する（ステップＴ２，パターンＱＧ２）。この位置ずれ修正マークＶ，Ｖｂは前述したマスタ画像Ｍａの位置ずれ修正マークＵａ，Ｕｂに対応するもので、前述したステップＳ３と同様の方法で抽出する。
【００３４】
次いで、この位置ずれ修正マークＶａ，Ｖｂが位置ずれ修正マークＵａ，Ｕｂと合致するように、すなわち画像メモリ３のメモリ部３ｂに記憶されている検査画像ＴＧがメモリ部３ａに記憶されているマスタ画像Ｍａと一致するように検査画像ＴＧを移動させる位置合わせを行う（ステップＴ３）。これは、コンベア上を不整列で移送されてくる対象物品を、画像上で整列させるためである。
【００３５】
次いで、検査画像ＴＧの各ブロックＢＬ毎に特徴量Ｄとしての偏差値σｄを抽出する（ステップＴ４）。そして、検査画像ＴＧの各ブロックの偏差値σｄがマスタ画像Ｍａの対応する各ブロックの偏差値σａに対して判定パラメータＰ１またはＰ２内にあるか検査する（ステップＴ５，パターンＱ３）。判定パラメータＰ１は各ブロック別に設定されて判定パラメータメモリ１０に記憶されているので、各ブロックの偏差値σｄは次式を満たさなければならない。
【００３６】
σａ−Ｐ１＜σｄ＜σａ＋Ｐ１    ・・・・（６）
または、
σａ−Ｐ２＜σｄ＜σａ＋Ｐ２    ・・・・（７）
この検査を検査画像ＴＧの全ブロックに対して行い（ステップＴ６）、それが終了すると検査結果をビデオモニタ５に出力する（ステップＴ７）。ビデオモニタ５には、良品と判定した場合はその旨を表示し、不良品と判定した場合は式（６）の条件を満たさなかったブロックの数、その画像および位置などを表示する。この一連の検査処理を全ての対象物品について行い（ステップＴ８）、全物品の検査が終了すると、処理を終了する。
【００３７】
なお、前述の実施の形態では、仮検査画像として４方向の画像を想定するようにしたが、これに限らず、さらに多方向（例えば、８方向）の画像を想定してシミュレーションするようにしてもよい。また、特徴量としては、標準偏差値に限らずブロック内の平均濃度（明度）、色差、正規化相関などがある。
【００３８】
【発明の効果】
本発明によれば、マスタ画像と検査画像とのマッチングの際に予測される変動要素を考慮して仮検査画像を用いたシミュレーションを事前に自動的に実行し、誤判定の要素の高いブロック（小領域）に対しては自動的にその判定パラメータ（許容値）を変更するようにしたので、マニュアルオペレーションが不要となりマッチングの誤判定率が低下するという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示す画像検査装置のブロック図である。
【図２】本発明の動作手順（マスタ登録処理）を示すフローチャートである。
【図３】マスタ登録処理の画像パターンを示す図である。
【図４】（ａ）〜（ｄ）はマスタ画像内のウィンドを上下左右に数画素ずつ移動させて得た４つの仮想検査画像を示す図である。
【図５】本発明の動作手順（検査処理）を示すフローチャートである。
【図６】検査処理の画像パターンを示す図である。
【符号の説明】
１  ビデオカメラ
２  画像入力部
３  画像メモリ
４  画像出力部
５  ビデオモニタ
６  ＣＰＵ
７  システムバス
８  プログラムメモリ（ＲＯＭ）
９  ワーキングメモリ（ＲＡＭ）
１０  判定パラメータメモリ
１１  入力部
１２  特徴量抽出部
ＷＤ  ウィンド（画像領域）
ＢＬ  ブロック（小領域）
Ｍａ，Ｍｂ  マスタ画像
Ｕａ，Ｕｂ  位置ずれ修正マーク
Ｖａ，Ｖｂ  位置ずれ修正マーク
Ｉａ〜Ｉｄ  仮検査画像
ＴＧ  検査画像
Ａ  マスタ画像の特徴量
Ｂ  仮想検査画像の特徴量
Ｄ  検査画像の特徴量
σａ  マスタ画像の標準偏差値
σｂ  仮想検査画像の標準偏差値
σｄ  検査画像の標準偏差値
Ｐ１，Ｐ２  判定パラメータ（許容値）
【図１】
0003557814.tif 000005
【図２】
0003557814.tif 000006
【図３】
0003557814.tif 000007
【図４】
0003557814.tif 000008
【図５】
0003557814.tif 000009
【図６】
0003557814.tif 000010