(57)【要約】【課題】マハラノビス距離を用いて検査画像の良否を判別する際に、当該マハラノビス距離の計算が不能になるのを回避し得る画像検査装置を提供する。【解決手段】  参照画像に対して画像変換された変換画像を特徴量抽出部１２にて所定の特徴に基づき特徴量ｘｂｊを抽出した後、相関行列作成部１４にて各参照画像に対する同一特徴に係る特徴量からなる列ベクトルにて特徴量行列Ｘを演算した後、その相関行列Ｒを作成する。この相関行列を特徴選択部１５に入力して、相関性が大きい順番に特徴量を選択し、且つこの選択に際しては、当該選択された特徴量が除かれた残差相関行列から次の特徴量を選択するようになし、さらにこれら選択された特徴量ｘ′ｂ’に基づき、検査画像の判別に用いるマハラノビス距離の演算に必要となる逆相関行列Ｒ’−１を求めるようにしたものである。【選択図】      図１
2005309878.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像に対してそれぞれ複数種類の画像変換処理を施す画像変換処理部と、
この画像変換処理部にて得られた複数の変換画像から所定の特徴種類に基づき特徴量をそれぞれ抽出する特徴量抽出部と、
この特徴量抽出部にて抽出された各特徴（この語句は、各画像変換処理種類ごとに所定の特徴種類に基づき選択されたデータとしての特徴量を区別するために用いるものとし、したがって画像変換の種類と特徴の種類の個数の組み合わせだけ存在する。）に係る特徴量を複数の各画像について集めてなる列ベクトルを、その平均値および標準偏差を用いて正規化した後、これら正規化された各列ベクトルを集めて特徴量行列を求めるとともにこの特徴量行列の列成分同士の相関行列を求める相関行列作成部と、
この相関行列作成部にて得られた相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求め、さらにこの残差相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求める手順を複数回繰り返して行うことにより、画像の検査に有利となる特徴量を選択する特徴選択部と、
この特徴選択部にて選択された特徴量についての相関性の順序付けおよびその特徴を記憶するとともにデータとして出力し得る出力部とから構成したことを特徴とする画像検査条件決定装置。
【請求項２】
特徴選択部に、
特徴量の選択およびその相関性を除去した未選択の残差相関行列を繰り返して求める際に、その選択特徴量の累積寄与率を求める寄与率演算部と、
この寄与率演算部にて求められた寄与率が所定の閾値を超えた場合に、上記繰返しを停止させる繰返し演算停止判断部とを設けたことを特徴とする請求項１に記載の画像検査条件決定装置。
【請求項３】
画像変換処理部と特徴量抽出部との間に画像変換処理された変換画像を複数に分割する画像分割部を設けるとともに、この画像分割部にて分割された各分割変換画像に対して、特徴量抽出等の手順を実行させるようにしたことを特徴とする請求項１または２に記載の画像検査条件決定装置。
【請求項４】
正常な検査対象物の参照画像と、検査を行うべき検査対象物の検査画像とから、検査画像の良否を判別する画像検査装置であって、
複数の画像に対してそれぞれ複数の画像変換処理を施す画像変換処理部と、
この画像変換処理部にて得られた複数の変換画像から所定の特徴種類に基づき特徴量をそれぞれ抽出する特徴量抽出部と、
この特徴量抽出部にて抽出された各特徴（この語句は、各画像変換処理種類ごとに所定の特徴種類に基づき選択されたデータとしての特徴量を区別するために用いるものとし、したがって画像変換の種類と特徴の種類の個数の組み合わせだけ存在する。）に係る特徴量を複数の各画像について集めてなる列ベクトルを、その平均値および標準偏差を用いて正規化した後、これら正規化された各列ベクトルを集めて特徴量行列を求めるとともにこの特徴量行列の列成分同士の相関行列を求める相関行列作成部と、
この相関行列作成部にて得られた相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求め、さらにこの残差相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求める手順を複数回繰り返して行い、且つこの特徴量の選択およびその相関性を除去した未選択の残差相関行列を繰り返して求める際に、その選択された特徴量の累積寄与率が所定の閾値を超えた場合に、その繰返しを停止させるようにした特徴選択部と、
この特徴選択部にて選択された特徴量行列の逆行列である逆相関行列、当該選択特徴量に係る特徴、並びに選択特徴量についての平均値および標準偏差を記憶するとともにデータとして出力し得る出力部と、
参照画像に対して選択された選択特徴量でもって上記特徴量抽出部にて検査画像から抽出された特徴量、並びに出力部からの参照画像に係る各選択特徴量についての平均値、標準偏差および逆相関行列を入力して、当該検査画像の選択特徴量に対してマハラノビス距離を求めるマハラノビス距離演算部と、
このマハラノビス距離演算部で求められたマハラノビス距離と所定の閾値とを比較して検査画像の良否を判別する良否判別部とを具備したことを特徴とする画像検査装置。
【請求項５】
画像変換処理部と特徴量抽出部との間に変換画像を複数に分割する画像分割部を設けるとともに、
この画像分割部にて分割された各分割変換画像に対して特徴量抽出等の以降の手順を実行してマハラノビス距離を求めた後、このマハラノビス距離に基づき各分割変換画像に対して良否の判別を行うようにしたことを特徴とする請求項４に記載の画像検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
検査対象物をカメラ装置で撮影して得られた検査画像に基づきその良否を検査する際の検査条件決定装置およびこの検査条件決定装置を具備した画像検査装置に関するものである。
【背景技術】
【０００２】
検査対象物の外観をカメラ装置で撮影して検査する際に、撮影した検査画像と、正常な検査対象物を撮影した参照画像とを比較することにより、欠陥部を検出するものがある。
この画像を用いた検査方法は、明るさやコントラストなどの比較に用いる特徴量を各画素において演算するとともにこの特徴量に応じて検査の対象となる画像を複数個に分解して多次元空間の一種である複数の散布図を求め、そしてこの散布図上における正常カテゴリからの距離（ユークリッド距離またはマハラノビス距離）に基づき欠陥を検出するものである（特許文献１参照、例えば段落番号［００２６］、［００４４］および［００４５］参照）。
【０００３】
ここで、特徴量としては、頻度（画素数）を指標として用い上記正常カテゴリを形成できるような（“スパースなエリア”と表現）ものが選択されている（段落番号［００４３］および［００４４］参照）。
【特許文献１】特開２００３−２７１９２７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の検査方法によると、明るさやコントラスト等見栄えの違いを検出するような用途に適用できるが、その検査実施前に、どのような種類の特徴を用いればよいのか事前検討が必要となり、その事前検討には、非常に多くの時間を要するという問題がある。すなわち、これは、様々な画像処理方法を試して特徴量を得て、その中から利用できる特徴量を選別する時間であり、この作業については、検査対象物の形状や色合いなどが異なると、最初から事前検討を行わなければならないものである。
【０００５】
また、上記特許文献１に記載のマハラノビス距離に基づいて欠陥の判別を行うものにおいては、採用しようとする特徴の種類どうしに強い相関があると、所謂、多重共線性の状態を生じ、相関行列が正則でなくなることがある。その場合には逆行列が求められず、マハラノビス距離が計算できないという問題が生じる。
【０００６】
そこで、本発明は、検査対象物の事前検討を容易に且つ迅速に行い得る画像検査条件決定装置、およびマハラノビス距離を用いてその良否を判別する際に当該マハラノビス距離の計算が不能になるのを回避し得る画像検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の請求項１に係る画像検査条件決定装置は、
複数の画像に対してそれぞれ複数種類の画像変換処理を施す画像変換処理部と、
この画像変換処理部にて得られた複数の変換画像から所定の特徴種類に基づき特徴量をそれぞれ抽出する特徴量抽出部と、
この特徴量抽出部にて抽出された各特徴（この語句は、各画像変換処理種類ごとに所定の特徴種類に基づき選択されたデータとしての特徴量を区別するために用いるものとし、したがって画像変換の種類と特徴の種類の個数の組み合わせだけ存在する。）に係る特徴量を複数の各画像について集めてなる列ベクトルを、その平均値および標準偏差を用いて正規化した後、これら正規化された各列ベクトルを集めて特徴量行列を求めるとともにこの特徴量行列の列成分同士の相関行列を求める相関行列作成部と、
この相関行列作成部にて得られた相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求め、さらにこの残差相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求める手順を複数回繰り返して行うことにより、画像の検査に有利となる特徴量を選択する特徴選択部と、
この特徴選択部にて選択された特徴量についての相関性の順序付けおよびその特徴を記憶するとともにデータとして出力し得る出力部とから構成したものである。
【０００８】
また、請求項２に係る画像検査条件決定装置は、請求項１に記載の条件決定装置における特徴選択部に、
特徴量の選択およびその相関性を除去した未選択の残差相関行列を繰り返して求める際に、その選択特徴量の累積寄与率を求める寄与率演算部と、
この寄与率演算部にて求められた寄与率が所定の閾値を超えた場合に、上記繰返しを停止させる繰返し演算停止判断部とを設けたものである。
【０００９】
また、請求項３に係る画像検査条件決定装置は、請求項１または２に記載の条件決定装置における画像変換処理部と特徴量抽出部との間に画像変換処理された変換画像を複数に分割する画像分割部を設けるとともに、
この画像分割部にて分割された各分割変換画像に対して、特徴量抽出等の手順を実行させるようにしたものである。
【００１０】
さらに、請求項４に係る画像検査装置は、
正常な検査対象物の参照画像と、検査を行うべき検査対象物の検査画像とから、検査画像の良否を判別する画像検査装置であって、
複数の画像に対してそれぞれ複数の画像変換処理を施す画像変換処理部と、
この画像変換処理部にて得られた複数の変換画像から所定の特徴種類に基づき特徴量をそれぞれ抽出する特徴量抽出部と、
この特徴量抽出部にて抽出された各特徴（この語句は、各画像変換処理種類ごとに所定の特徴種類に基づき選択されたデータとしての特徴量を区別するために用いるものとし、したがって画像変換の種類と特徴の種類の個数の組み合わせだけ存在する。）に係る特徴量を複数の各画像について集めてなる列ベクトルを、その平均値および標準偏差を用いて正規化した後、これら正規化された各列ベクトルを集めて特徴量行列を求めるとともにこの特徴量行列の列成分同士の相関行列を求める相関行列作成部と、
この相関行列作成部にて得られた相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求め、さらにこの残差相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求める手順を複数回繰り返して行い、且つこの特徴量の選択およびその相関性を除去した未選択の残差相関行列を繰り返して求める際に、その選択された特徴量の累積寄与率が所定の閾値を超えた場合に、その繰返しを停止させるようにした特徴選択部と、
この特徴選択部にて選択された特徴量行列の逆行列である逆相関行列、当該選択特徴量に係る特徴、並びに選択特徴量についての平均値および標準偏差を記憶するとともにデータとして出力し得る出力部と、
参照画像に対して選択された選択特徴量でもって上記特徴量抽出部にて検査画像から抽出された特徴量、並びに出力部からの参照画像に係る各選択特徴量についての平均値、標準偏差および逆相関行列を入力して、当該検査画像の選択特徴量に対してマハラノビス距離を求めるマハラノビス距離演算部と、
このマハラノビス距離演算部で求められたマハラノビス距離と所定の閾値とを比較して検査画像の良否を判別する良否判別部とを具備したものである。
【００１１】
また、請求項５に係る画像検査装置は、請求項４に記載の検査装置における画像変換処理部と特徴量抽出部との間に変換画像を複数に分割する画像分割部を設けるとともに、
この画像分割部にて分割された各分割変換画像に対して特徴量抽出等の以降の手順を実行してマハラノビス距離を求めた後、このマハラノビス距離に基づき各分割変換画像に対して良否の判別を行うようにしたものである。
【発明の効果】
【００１２】
上記画像検査条件決定装置の構成によると、複数の画像に対して複数の画像変換をそれぞれ施したものから所定の特徴に基づきそれぞれ抽出された同一の特徴に係る特徴量を集めて構成された列ベクトルを特徴別に集めてなる特徴量行列を作成し、この特徴量行列の相関行列を作成し、この相関行列に基づき、相関性が大きいものから順次選択して取り出すとともに選択のたびに残りの特徴との相関性を除去して次の選択に備えるようにしたので、取り出された画像の特徴量については互いに相関性が低くなり、例えばマハラノビス距離を用いて検査をする場合には、逆相関行列の演算が不能になるという事態を回避することができる。
【００１３】
また、選択された特徴量の寄与率を求めるとともに、その累積寄与率が所定の値を超えた場合には、その選択を打ち切ることにより、無駄な演算処理を省いて効率の良い検査を行うことができる。
【００１４】
さらに、上記の各画像検査装置の構成によると、上述した検査条件決定装置と同様の構成に加えて、マハラノビス距離演算部を具備したので、ほぼ確実に、検査画像に対してマハラノビス距離の演算を行うことができるとともに、このマハラノビス距離の演算に必要となる逆相関行列についても、特徴選択部で行われる演算の過程で求められるため、効率良く検査を実行することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る画像検査条件決定装置およびこれを用いた画像検査装置について説明する。
［実施の形態１］
まず、実施の形態１に係る画像検査装置について説明する。
【００１６】
この画像検査装置は、図１に示すように、検査対象物を、その撮影画像を用いて検査する際に、正常な対象物の検査画像（以下、参照画像ともいい、検査すべき対象物の画像を検査画像という）に基づき行うようにしたもので、参照画像および検査画像の特徴（後で説明する）を選択する特徴選択手段１と、この特徴選択手段１における選択手順の途中で得られた特徴についてのデータである特徴量に基づき、検査画像に対するマハラノビス距離を求めて検査画像の良否を判別する良否判別手段２とから構成されている。
【００１７】
上記特徴選択手段１は、カメラ装置（例えば、ＣＣＤカメラ）により撮影された検査対象物の複数（ｎ個）の画像（参照画像または検査画像であり、ここでは、参照画像として説明する）を入力して所定の前処理（２値化処理、ラベリング処理、面積フィルタ処理など）を施す前処理部１１と、この前処理部１１で前処理が施された参照画像Ａｊ（ｊ＝１，２，３，４，・・・，ｎ;４以上ｎ個）に対して予め用意された複数種類（ｉ＝１，２，・・・，ｍ）の画像変換（例えば、エッジ強調、明部強調、暗部強調、平均化など）Ｔｉを施すことにより、ｎ個の画像それぞれに対してｍ個（合計；ｎ×ｍ個）の変換画像Ｂｉｊを得る画像変換処理部１２と、
この画像変換処理部１２により得られた各変換画像Ｂｉｊに対して１種類または２種類以上（通常は１種類で、例えば明度が用いられる）の特徴に基づきそれぞれ特徴量ｘｂｊ（ｂ＝１，２，・・・，ｙ）［この特徴量ｘの添え字ｂの意味は各参照画像Ａｊに対して画像変換の種類および特徴の種類の両者の組み合わせにより区別された特徴であることを示すもので、したがって画像変換種類×特徴種類の個数だけ存在することになる］を抽出する特徴量抽出部１３と、
この特徴量抽出部１３で得られた各参照画像Ａｊに対して同一の特徴ｂについての特徴量ｘｂを集めてなる列ベクトル＊ｘｂ＝｛ｘｂ１，ｘｂ２，・・・，ｘｂｎ｝Ｔ（Ｔは転置）を、その平均値μｂおよび標準偏差σｂを用いて正規化した列ベクトル＊ｘ′ｂを求め、そしてこの正規化された列ベクトル＊ｘ′ｂをｙ個の特徴について集めて構成された特徴量行列Ｘ［ｎ×ｙ］＝｛＊ｘ′１，＊ｘ′２，・・・，＊ｘ′ｙ｝を得るとともに、この特徴量行列Ｘを構成する列同士の相関性を表す相関行列Ｒ［ｙ×ｙ］を求める相関行列作成部１４と、
この相関行列作成部１４で求められた相関行列Ｒに基づき、全特徴量ｘｂ（合計ｙ個）の中から各特徴量に対して相関性が最も大きい第１の特徴量ｘを選択するとともに、この選択された第１の特徴量ｘと、相関行列Ｒにおいて第１の特徴量ｘを除いた未選択の特徴量（特徴量がｙ個であれば、ｙ−１個となる）との間の相関性が除去された第１の残差相関行列を求め、さらにこの第１の残差相関行列に基づき未選択の特徴量の中から相関性が最も大きい第２の特徴量ｘを選択するとともに、この第２の特徴量ｘと第１の残差相関行列において第２の特徴量ｘを除いた未選択の特徴量（特徴量がｙ個であれば、ｙ−２個となる）との間の相関性が除去された第２の残差相関行列を求め、そしてこの特徴量の選択および残差相関行列作成の手順を順次繰り返し行うことにより、相関性が高い、すなわち適正な特徴量ｘｂ’（ｂ’は選択された特徴量を示す；ｂ’∈ｂ）を選択するとともに、その繰返し処理を停止させ得る機能が具備された特徴選択部１５と、
上記選択された選択特徴量ｘｂ’、その平均値μｂ’、その標準偏差σｂ’、これらの特徴ｂ’［画像変換の種類Ｔｉ’（但し、ｉ’∈ｉ）と特徴の種類との組み合わせ］、これら選択特徴量ｘｂ’を正規化して得られた選択特徴量行列Ｘ’の列同士の相関を表す相関行列Ｒ’およびこの逆行列である逆相関行列Ｒ’−１を記憶するとともに必要に応じて出力するための出力部１６とから構成されている。なお、特徴量行列Ｘ’、相関行列Ｒ’およびこの逆相関行列Ｒ’−１は、少なくとも、いずれか一つが記憶されていればよく、望ましくは、逆相関行列Ｒ’−１が記憶される。逆相関行列Ｒ’−１が記憶されていない場合は、出力部１６の後段に、特徴量行列Ｘ’または相関行列Ｒ’から逆相関行列Ｒ’−１を求める逆相関行列演算部が設けられ、この逆相関行列演算部で求められた逆相関行列Ｒ’−１が利用されることになる。
【００１８】
上記相関行列作成部１４については、各参照画像Ａｊに対して同一の特徴ｂに係る特徴量ｘｂｊを集めてなる列ベクトル＊ｘｂの平均値μｂおよび標準偏差σｂを演算する平均値等演算部１４Ａと、この平均値μｂおよび標準偏差σｂを用いて上記列ベクトル＊ｘｂを正規化してなる列ベクトル＊ｘ′ｂを求める正規化演算部１４Ｂと、この正規化された列ベクトル＊ｘ′ｂをｙ個の特徴量について集めて構成された特徴量行列Ｘを得るとともにこの特徴量行列Ｘを構成する列同士の相関性を表す相関行列Ｒ［ｙ×ｙ］を求める相関行列演算部１４Ｃとから構成されている。なお、これらの演算部（他の演算部、作成部も同じ）については、コンピュータプログラムにより構成されている。
【００１９】
また、上記判別手段２は、上記特徴選択手段１の出力部１６に記憶されたデータの内、必要なデータを入力して、検査画像に対してマハラノビス距離を演算するマハラノビス距離演算部２１と、このマハラノビス距離演算部２１にて求められたマハラノビス距離を入力して検査画像の良否を判別する良否判別部２２とから構成されている。
【００２０】
なお、上述した「＊（アスタリスク）」の記号は、文章中において、その後の文字がベクトルであることを表すものとして用いており、以下に示す各式中では、ベクトルに関してはゴシック体で表している。
【００２１】
以下、上記各構成部の詳細について説明する。
まず、相関行列作成部１４における相関行列の作成手順について説明する。
この相関行列作成部１４の平均値等演算部１４Ａにて、各列ベクトル＊ｘｂについて平均値μｂおよび標準偏差σｂが求められた後、正規化演算部１４Ｂにて、これらの値に基づき正規化される。そして、相関行列演算部１４Ｃにて、正規化された各列ベクトル＊ｘ′ｂが集められて特徴量行列Ｘが求められるとともに、その相関行列Ｒが求められる。
【００２２】
すなわち、特徴量ｘｂの内、ｉ番目（このｉについては、画像変換の種類を示すｉとは異なるものとする）の特徴量ｘｉについてｎ個のデータからなる列ベクトルを＊ｘｉ＝｛ｘｉ１，ｘｉ２，ｘｉ３，・・・，ｘｉｎ｝Ｔ、その平均値をμｉ、標準偏差をσｉとすると、列ベクトル＊ｘｉ中の各特徴量から平均値を減算した値を標準偏差で除算して得られた正規化列ベクトル＊ｘ′ｉは下記（１）式にて表される。
【００２３】
【数１】
2005309878.tif 000003
【００２４】
次に、正規化された列ベクトル＊ｘ′ｉをｙ個集めた特徴量行列Ｘ＝｛＊ｘ′１，＊ｘ′２，・・・，＊ｘ′ｙ｝を作成する。
そして、この特徴量行列Ｘ［ｎ×ｙ］を構成する列同士の相関性を表す相関行列Ｒ［ｙ×ｙ］は、下記（２）式にて得られる。
【００２５】
【数２】
2005309878.tif 000004
【００２６】
なお、この相関行列作成部１４の平均値等演算部１４Ａにて得られた各特徴量ｘｂに対する平均値μｂおよび標準偏差σｂは、出力部１６に入力されて記憶される。
次に、特徴選択部１５の構成について説明する。
【００２７】
この特徴選択部１５は、上記相関行列作成部１４にて求められた相関行列Ｒに基づき、全特徴量ｘｂの中から各特徴量に対して相関性が最も大きい特徴量を選択する特徴量選択部３１と、この選択された特徴量と相関行列Ｒにおいて上記特徴量を除いた残りの未選択の特徴量との相関性が除去された残差相関行列を作成する残差相関行列作成部３２と、これら特徴量の選択および残差相関行列の作成を繰り返して行わせるための繰返し演算指示部３３と、上記残差相関行列作成部３２にて作成された残差相関行列に基づき各繰返し演算の際に、今まで選択された全特徴量の累積寄与率を求める寄与率演算部３４と、この寄与率演算部３４で求められた累積寄与率と予め設定された閾値（例えば、９５％などの値である）とを比較して繰返し演算の停止を判断する繰返し演算停止判断部３５とから構成されている。
【００２８】
上記特徴量選択部３１においては、正規化された列ベクトル＊ｘ′ｂをｙ個の特徴ｂについて集めて構成されてなる特徴量行列Ｘの中から、各特徴量ｘ′ｂに対して相関性が最も高い特徴量ｘ′ｉが、順次、選択される。
【００２９】
この特徴量の選択手順（以下、ステップともいう）については、上述したように、選択された全特徴量の累積寄与率が所定の閾値以上になるまで、複数回繰り返されることになる。
【００３０】
そして、特徴量の選択に際しては、残差相関行列中の各特徴量ｘ′ｂについての相関値λｉｊの二乗をλｊｊで除した値を合計したものの中で、最大値を与える特徴量ｘ′ｉが選択される。
【００３１】
なお、初回目である第１ステップについては、残差相関行列が作成されていないため、（２）式に示された相関行列Ｒに基づき特徴量ｘ′ｉが選択される。
すなわち、第１ステップでは、下記（３）式に示すように、相関行列Ｒの対角項の各値λｉｉを二乗した合計値が最も大きくなるような特徴量ｘ′ｉが選択される。
【００３２】
【数３】
2005309878.tif 000005
【００３３】
そして、２回目以降のｋステップでは、下記（４）式に示すように、残差相関行列における各値［（λｉｊ）２／λｉｉ］の合計値が最も大きくなるような特徴量ｘ′ｉが選択される。
【００３４】
【数４】
2005309878.tif 000006
【００３５】
なお、（４）式中、λｉｊは残差相関行列kＲ２２．１の要素であり、特徴量ｘ′ｉとｘ′ｊとの相関値を表している。
次に、上記残差相関行列作成部３２においては、選択された特徴量ｘ′ｉ’を特徴量行列Ｘ内で最前列に移動させるとともに（なお、相関性が大きい一方の特徴量を選択し、他方の特徴量については未選択とする）、この特徴量行列Ｘを、選択された特徴量行列Ｘ１と未選択の特徴量行列Ｘ２とに分割し、さらにこの分割に応じて、相関行列Ｒについても、下記（５）式に示すように分割する。
【００３６】
【数５】
2005309878.tif 000007
【００３７】
但し、（５）式中において、ｋＲ１１は選択された特徴量の相関行列、ｋＲ２２は未選択の特徴量についての相関行列、ｋＲ１２およびｋＲ２１は選択特徴量と未選択特徴量とについての相関行列である。なお、ｋは選択ステップの次数を示している。
【００３８】
そして、この分割相関行列において選択された特徴量の影響が除かれた残差相関行列ｋＲ２２．１は、下記（６）式にて与えられる。
【００３９】
【数６】
2005309878.tif 000008
【００４０】
ところで、（６）式にて示されるように、残差相関行列を求めるのに、選択された特徴量の相関行列（ｋＲ１１）の逆行列すなわち逆相関行列（ｋＲ１１−１）を求める必要があり、したがってこの残差相関行列作成部３２には、逆相関行列作成部３２ａが具備されている。
【００４１】
ここで、この逆相関行列作成部３２ａでの逆相関行列（ｋＲ１１−１）を求める手順について説明する。
例えば、ｋステップで特徴量が選択された場合、この選択特徴量に対する分散と選択済みの特徴量に対する共分散を追加して、下記（７）式で示すように、（ｋ＋１）ステップにおける部分的逆相関行列（ｋ＋１Ｒ１１−１）が作成される。そして、この部分的逆相関行列を、選択特徴量と未選択特徴量とに分割して行列で表すと下記（７′）式のようになる。
【００４２】
【数７】
2005309878.tif 000009
【００４３】
なお、（７）式中の（ｋ×ｋ）等の括弧内は、成分の個数を示す。
上記（７′）式で示す逆相関行列の各分割部分（相関性が除去されたもの）は、下記（８）式にて与えられる。
【００４４】
【数８】
2005309878.tif 000010
【００４５】
また、上記繰返し演算停止判断部３５においては、下記（９）式にて示す選択された特徴量についての累積寄与率Ｐ（ｋ）と、所定の閾値とが比較されて、当該累積寄与率が所定の閾値、例えば９５％を超えた場合に、演算の停止指令が繰返し演算停止判断部３５から繰返し演算指示部３３に出力される。
【００４６】
【数９】
2005309878.tif 000011
【００４７】
但し、（９）式中、「tr」はトレース（対角和）を表す。
なお、累積寄与率が所定の閾値以下である場合でも、繰返し演算（選択処理）が停止される場合がある。すなわち、未選択の特徴に、選択された特徴と相関性が大きい特徴が多く含まれるようになると、λｉｊが極小値になったり、負の値になったりするため、このような場合には、繰返し演算を停止する。
【００４８】
ところで、上記出力部１６においては、選択特徴量ｘ′ｂ’に係る特徴ｂ’を特定するための画像変換の種類および特徴の種類、相関行列Ｒ’、逆相関行列Ｒ’−１、平均値μｂ’、標準偏差σｂ’などが記憶されるとともに、参照画像について選択された特徴と同一の特徴ｂ’を検査画像に対して使用するために、当該出力部１６からその画像変換の種類を指示するための使用画像変換指示部４１、およびその特徴の種類を指示するための使用特徴指示部４２が具備されている。
【００４９】
ここで、特徴量の選択および残差相関行列並びに逆相関行列の作成手順を詳しく説明する。
第１ステップにおいては、いまだ逆行列が作成されていないため、下記（１０）式にて示すように、最初に選択された特徴量ｘ′ｉの分散σｉｉの逆数が、逆相関行列（１Ｒ１１−１）の初期値とされる。この初期値を用いて、第２ステップでの残差相関行列が求められる。
【００５０】
【数１０】
2005309878.tif 000012
【００５１】
次に、第２ステップ（ｋステップ）以降における繰返し選択を行う手順について説明する。
この繰返し時においても、上述した第１ステップの選択手順と同様の手順、すなわち特徴量の選択、残差相関行列の作成、およびその作成と同時に、逆相関行列の作成が行われる。
【００５２】
すなわち、特徴量選択部３１においては、第１ステップで求められた残差相関行列１Ｒ２２．１を基に、未選択の行列Ｘ２の中から、全特徴量に対して相関性が最も大きい特徴量ｘ′ｉが選択される。
【００５３】
また、残差相関行列作成部３２の逆相関行列作成部３２ａにおいては、現時点までに選択された特徴量ｘ′ｂ’に係る逆相関行列が求められる。この逆相関行列は次のステップでの残差相関行列の作成に用いられる。
【００５４】
そして、この繰返し演算については、入力された画像が参照画像である場合には、繰返し演算指示部３５からの指示により行われるとともに、繰返し演算停止判断部３５からの停止指令が繰返し演算指示部３５に入力されて、その繰返し演算が停止される。
【００５５】
次に、上記良否判別手段２におけるマハラノビス距離演算部２１について説明する。
このマハラノビス距離演算部２１においては、特徴選択手段１の出力部１６に記憶されている各選択特徴量ｘ′ｂ’に係る平均値μｂ’および標準偏差σｂ’並びに各選択ステップでの逆相関行列Ｒ’−１が入力されるとともに、検査画像に対して求められた特徴量ｘｂに対して、下記（１１）式で表されるマハラノビス距離Ｄ２が求められる。
【００５６】
【数１１】
2005309878.tif 000013
【００５７】
但し、（１１）式中、ｒｉｊは既に求められている参照画像に対する相関行列Ｒ’の逆行列Ｒ’−１の要素であり、また平均値μｉ，μｊおよび標準偏差σｉ，σｊについても、参照画像に対して求められた各特徴量ｘｂ’に関する平均値μｂ’および標準偏差σｂ’の値が用いられる。なお、ｍについては、選択特徴量の個数を示している。
【００５８】
そして、上記良否判別部２２においては、上記マハラノビス距離演算部２１で求められたマハラノビス距離Ｄ２を入力して、予め、設定された閾値と比較して、例えば閾値より大きい場合には、検査画像に欠陥が含まれていると判別されるが、閾値以下の場合には、当該検査画像については正常であると判別される。
［画像検査方法の説明］
ここで、上記画像検査装置を用いて、検査対象物が正常な対象物であるか否かを検査する手順を、概略的に説明する。
【００５９】
この検査手順においては、大きく分けて、マハラノビス距離を用いて、検査すべき検査対象物の良否を判別する際に、マハラノビス距離を求める際に必要な所定のデータを得るための準備段階と、この準備段階で得られた所定のデータを用いて、検査対象物である検査画像に対してマハラノビス距離を求めてその良否を判別するための検査段階とがある。
【００６０】
まず、準備段階の手順について説明する。
準備段階においては、正常な検査対象物を撮影した参照画像を前処理部１１で所定の処理を行った後、画像変換処理部１２で所定の画像変換を施し、特徴量抽出部１３にて、各参照画像ごとに所定の特徴に基づき特徴量ｘｉを抽出する。
【００６１】
次に、この抽出された特徴量を相関行列作成部１４に入力して、ここで、正規化するとともに相関行列Ｒを作成する。
次に、この相関行列が特徴量選択部３１に入力されて、相関性が最大となる第１の特徴量が選択された後、残差相関行列作成部３２にて残差相関行列および逆相関行列が作成される。
【００６２】
次に、この残差相関行列に基づき特徴量選択部３１にて、当該残差相関行列において相関性が最大となる第２の特徴量が選択され、上記と同様に、残差相関行列および逆相関行列が作成される。
【００６３】
そして、残差相関行列が寄与率演算部３４に入力されて、今まで、選択された全特徴量についての累積寄与率が求められるとともに、繰返し演算停止判断部３５で、所定の閾値以上であるか否かが判断されており、所定の閾値以上になった場合には、繰返し演算指示部３３にその旨が出力されて、繰返し演算が停止される。
【００６４】
次に、ここまで選択された全ての特徴量ｘ′ｂ’、すなわち変換画像から抽出された特徴量、およびこの特徴量に係る特徴ｂ’を特定するための画像変換の種類および特徴の種類が出力部１６に記憶されるとともに、当該選択された特徴量ｘ′ｂ’についての特徴量行列Ｘ’、その相関行列Ｒ’およびその逆行列である逆相関行列Ｒ’−１並びに各選択特徴量ｘ′ｂ’についての平均値μｂ’および標準偏差σｂ’が出力部１６に記憶される。なお、特徴量行列Ｘ’、相関行列Ｒ’およびこの逆相関行列Ｒ’−１は、少なくとも、いずれか一つが記憶されていればよく、望ましくは、逆相関行列Ｒ’−１が記憶される。逆相関行列Ｒ’−１が記憶されていない場合は、出力部１６の後段に、特徴量行列Ｘ’または相関行列Ｒ’から逆相関行列Ｒ’−１を求める逆相関行列演算部が設けられ、この逆相関行列演算部で求められた逆相関行列Ｒ’−１が利用されることになる。
【００６５】
この手順により、マハラノビス距離を用いて検査画像の良否を判断するための必要データが得られるとともに、変換画像から得られた多数の特徴量から、相関性が大きいものから順番に選択するとともに、累積寄与率を用いて特徴量の選択を打ち切るようにしているので、正常な検査対象物を特徴付けるのに最適な特徴量、すなわち当該検査対象物を検査する際の最適な検査条件を効率良く選択することができる。すなわち、この選択された特徴量を用いることにより、検査画像に対して効率の良いしかも時間的に無駄のない検査を行うことができる。
【００６６】
次に、上記参照画像から選択された特徴量を用いて、検査すべき対象物の検査画像を検査する検査段階について説明する。
すなわち、画像変換処理部１２には、使用画像変換指示部４１から使用すべき画像変換の種類が指示されるとともに、特徴量抽出部１３には、使用特徴指示部４２から使用すべき特徴ｂ’が入力されている。なお、この検査段階では、特徴選択部１５は用いられない。
【００６７】
したがって、検査画像が画像変換処理部１２で所定の画像変換が施された後、特徴量抽出部１３で所定の特徴に基づき各検査画像に対して特徴量ｘｂが抽出され、この抽出された特徴量が相関行列作成部１４に入力される。
【００６８】
ここで、各検査画像に対して抽出された各特徴量ｘｂが平均値等演算部１４Ａに入力されてその平均値μｂおよび標準偏差σｂが求められ、そして正規化演算部１４Ｂで正規化された後、マハラノビス距離演算部２１に入力されて、出力部１６から入力された参照画像に対する逆相関行列Ｒ’−１、平均値μｂおよび標準偏差σｂを用いて、（１１）式に基づきマハラノビス距離Ｄ２が演算される。
【００６９】
そして、この求められたマハラノビス距離Ｄ２が良否判別部２２に入力されて、所定の閾値と比較され、当該検査画像の良否が判別される。例えば、閾値より小さい場合には、良品（合格）であると判断され、閾値を超えている場合には、不良品（不合格）であると判断される。なお、上記Ｄの値は、正常な検査対象物（正常品ともいう）の特徴量のばらつきを表した正規分布の標準偏差σに相当するもので、この値を基準にして正常品と欠陥品との区別をつけることができる。したがって、判別に用いる閾値としては、例えば３×Ｄ（３σ）といった値に設定するとよい。
【００７０】
この画像検査装置の構成によると、以下のような作用・効果が得られる。
例えば、検査対象物において、単なる傷等とは異なる見栄え等についても、その良否を判別しようとすると、多面的に特徴を捉えて判別する必要があり、またその判別に際してマハラノビス距離を用いる場合、まずはマハラノビス距離を求めることができる画像変換の種類と特徴の種類とを選ぶ必要がある。
【００７１】
ところで、マハラノビス距離を求めるためには、用いる特徴量相互の相関性が小さいことが望ましく、その画像変換の種類と特徴の種類との組み合わせを試行しながら、特徴量を選別する作業は非常に困難であった。
【００７２】
これに対し、上述した画像検査装置においては、事前に用意した複数（可能な限り多く）の画像変換方法を用いて、正常な検査対象物の撮影画像、すなわち参照画像に画像変換を施すとともに、これら変換画像に対して事前に定めた特徴の種類について特徴量を抽出し、次にこれらの中からまず他の特徴量との相関が最も大きい特徴量を選択し、さらにこの選択された特徴量との相関性を除いたうえで、残った特徴量から再び他の特徴量との相関性が最も大きい特徴量を選択するという手順繰り返すようにしたため、結果的には、順番に選択された特徴量同士については、最も相関性が小さくなる組み合わせとなるので、マハラノビス距離が求められなくなるという可能性を低減することができ、したがって安定して判別可能な特徴量の組み合わせを提供することができる。
【００７３】
また、用意した画像変換の種類を全て選択する場合には処理時間が長くなってしまう。また、画像変換の種類の数が多くなるとその抽出する特徴同士に相関を有するものが含まれやすくなるため、マハラノビス距離が求められなくなる［相関行列の逆行列が計算不能（計算過程でゼロ除算を生じる）となる］原因につながる。よって、特徴量の累積寄与率を求め所定の寄与率に至った時点で特徴量の選択を停止するようにすれば処理時間の短縮に役立つ。なお、この寄与率は正常画像のどの程度を良と判別するのに関わるもので、検査対象物に応じて且つ判別する精度に応じて、適宜、定められる。
【００７４】
また、上記実施の形態１において、相関行列（逆相関行列も含む）と記述した部分で、分散共分散行列と記述してもよい箇所があるが、特徴量を正規化しているため、全て、相関行列として説明している。
【００７５】
さらに、上記実施の形態１においては、マハラノビス距離の演算に必要な逆相関行列については、特徴量選択部３１で行われる演算の過程で順次求められるものを用いるものとして説明したが、例えば所定の寄与率になった時点での選択特徴量について相関行列を求めた後、この相関行列についての逆行列を求めるようにしてもよい。この場合、特徴選択部１５以外の部分に、逆相関行列を求める逆相関行列作成部が具備される。
［実施の形態２］
次に、本発明の実施の形態２に係る画像検査装置を、図２に基づき説明する。
【００７６】
上記実施の形態１においては、検査対象物を撮影した検査画像全体、正確には、変換画像全体について特徴量を抽出するように説明したが、本実施の形態２においては、その変換画像を複数に分割し、これら分割された分割領域画像に対して、実施の形態１において説明したと同様の手順、すなわち特徴量の選択、残差相関行列作成、逆相関行列の作成を行うとともに、マハラノビス距離を求めて各分割領域画像に対して、それぞれ良否の判別を行うようにしたものである。すなわち、検査対象物を部分的に詳しく検査するようにしたものである。通常の検査については、変換画像を複数に分割して行われる。なぜなら、検査対象物の表面の傷などの検査を行う場合には、全体に対して傷の占める割合が小さいため、傷の有無を判別しようとすると、部分的に行う必要がある。例えば、ボタン電池の表面の検査を行う場合などは、分割領域画像に対してそれぞれマハラノビス距離を用いて、その良否を判別する必要がある。
【００７７】
この場合における画像検査装置の概略構成ブロック図を図２に示しておく。すなわち、図１に示した画像検査装置において、画像変換処理部１２の後に、検査画像を複数の領域に分割する画像分割部５１を配置するとともに、この画像分割部５１にて分割された分割画像（分割参照画像または分割検査画像）をそれぞれ入力して所定の特徴量を抽出する特徴量抽出部１３、相関行列作成部１４および特徴選択部１５を分割個数に応じてそれぞれ複数個ずつ配置したものである。
【００７８】
この構成によると、変換画像Ｂｊｉを全体で１つの処理対象とする場合（分割個数がゼロ、すなわち分割数は１）は処理時間が最短となる一方、識別可能な欠陥の大きさは小領域に分割する場合に比べて大きなものになるところ、変換画像Ｂｉｊをａ個（ａは２以上で画素数ｐ以下の整数）で分割すると、その数が増えるに従って処理時間が長くなる一方、識別可能な欠陥の大きさが小さい（細かい）ものにまで対応が可能となる。このため、検査で許容される実行時間と識別すべき欠陥の大小（精度）に応じて分割の大きさが決定される。
【００７９】
この画像検査装置を用いて、円形のボタン電池の検査を行ったところ、負極部の打痕、凹み、汚れなどを判別することができた。勿論、このようなボタン電池以外の物品についての表面検査に適用し得るものである。
【００８０】
ところで、上記各実施の形態においては、画像検査装置について説明したが、上述したように、正常な検査対象物である参照画像に対しては、最適な特徴量を選択することができ、すなわち検査条件を選択することができるため、上記各実施の形態における良否判別手段２を除いた特徴選択手段１そのものを、画像にて検査を行う際の最適な特徴量を検出するための検査条件決定装置として用いることができる。
【００８１】
勿論、この場合には、前処理部１１から出力部１６までの構成が具備されるとともに、使用画像変換指示部４１および使用特徴指示部４２が不要となる。
また、この場合、寄与率演算部３４および繰返し演算停止判断部３５を設けずに、出力部１６からは、単に、相関性が大きい特徴量が順序付けされて出力されるものであってもよい。
【００８２】
さらに、良否判別に用いる選択した特徴量ｘ′ｂ’による特徴量行列Ｘ’の相関行列Ｒ’の逆行列である逆相関行列Ｒ’−１、特徴量ｘ′ｂ’の平均値および標準偏差は、マハラノビス距離演算部２１への入力前に求められていればよいため、必ずしも、出力部１６に格納されていなくてもよい。例えば、出力部１６から特徴量行列Ｘ’と特徴量ｘ′ｂ’の平均値および標準偏差とを出力し、出力部１６とマハラノビス距離演算部２１との間に逆相関行列演算部を設けて、逆相関行列Ｒ’−１を求めるようにしてもよい。
【００８３】
ここで、この検査条件決定装置の構成を、図２に基づき簡単に説明しておく。
基本的な検査条件決定装置は、複数の画像に対してそれぞれ複数種類の画像変換を施す画像変換処理部１２と、この画像変換処理部１２にて得られた複数の変換画像から所定の特徴種類に基づき特徴量をそれぞれ抽出する特徴量抽出部１３と、この特徴量抽出部１３にて抽出された各特徴に係る特徴量を複数の各画像について集めてなる列ベクトルを、その平均値および標準偏差を用いて正規化した後、これら正規化された各列ベクトルを集めて特徴量行列を求めるとともにこの特徴量行列の列成分同士の相関行列を求める相関行列作成部１４と、この相関行列作成部１４にて得られた相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求め、さらにこの残差相関行列における相関性が最も大きい特徴量を選択するとともにこの選択された特徴量との相関性を除去した未選択の残差相関行列を求める手順を複数回繰り返して行うことにより、画像の検査に有利となる特徴量を選択する特徴選択部１５と、この特徴選択部にて選択された特徴量についての相関性の順序付けおよびその特徴を記憶するとともにデータとして出力し得る出力部１６とから構成したものである。
【００８４】
また、上記検査条件決定装置における特徴選択部１５（図１参照）に、特徴量の選択およびその相関性を除去した未選択の残差相関行列を繰り返して求める際に、その選択特徴量の累積寄与率を求める寄与率演算部３４と、この寄与率演算部３４にて求められた寄与率が所定の閾値を超えた場合に、上記繰返しを停止させる繰返し演算停止判断部３５とを設けたものである。
【００８５】
さらに、上記の画像検査条件決定装置において、画像変換処理部１２と特徴量抽出部１３との間に画像変換された変換画像を複数に分割する画像分割部５１を設けるとともに、この画像分割部５１にて分割された各分割画像Ｂｐｉｊに対して、特徴量抽出等の手順を実行させるようにしたものである。したがって、分割個数に応じて、特徴量抽出部１３、相関行列作成部１４および特徴選択部１５がそれぞれ設けられている。
【００８６】
この画像検査条件決定装置の構成によると、複数の画像に対して複数の画像変換をそれぞれ施した画像（または、分割画像）から所定の特徴に基づきそれぞれ抽出された同一の特徴に係る特徴量を集めて構成された列ベクトルを特徴毎に集めてなる特徴量行列を作成し、この特徴量行列の相関行列を作成し、この相関行列に基づき、相関性が大きいものから順次選択して（順序付けして）取り出すようにしたので、取り出された画像の特徴量については互いに相関性が低くなり、例えばマハラノビス距離を用いて検査をする場合には、逆相関行列の演算が不能になるという事態を回避することができる。また、特徴量が順序付けされて取り出されるため、検査を行う際に、簡単に、最適な特徴を用いることができる。
【００８７】
さらに、選択された特徴量の寄与率を求めるとともに、その累積寄与率が所定の値を超えた場合には、その選択を打ち切ることにより、無駄な演算処理を省いた効率の良い検査が可能となる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１に係る画像検査装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態２に係る画像検査装置の概略構成を示すブロック図である。
【符号の説明】
【００８９】
１      特徴選択手段
２      良否判別手段
１２      画像変換処理部
１３      特徴量抽出部
１４      相関行列作成部
１５      特徴選択部
１６      出力部
２１      マハラノビス距離演算部
２２      良否判別部
３１      特徴量選択部
３２      残差相関行列作成部
３２ａ    逆相関行列作成部
３３      繰返し演算指示部
３４      寄与率演算部
３５      繰返し演算停止判断部
４１      使用画像変換指示部
４２      使用特徴指示部
５１      画像分割部
【図１】
2005309878.tif 000014
【図２】
2005309878.tif 000015