(57)【要約】【課題】検査画像の良否の判定精度を高めるのに有利な画像評価方法を提供すること。【解決手段】画像評価方法は、検査対象の画像である検査画像の画素毎の特徴量を計算する工程と、予め与えられた複数の良品サンプルの画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを用いて前記検査画像の画素毎の特徴量を正規化し、該検査画像の画素毎の正規化された特徴量に基づいて前記検査画像の良否を判定するためのスコアを計算する工程とを有する。【選択図】  図７
2020064465.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の画像である検査画像の画素毎の特徴量を計算する工程と、
予め与えられた複数の良品サンプルの画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを用いて前記検査画像の画素毎の特徴量を正規化し、該検査画像の画素毎の正規化された特徴量に基づいて前記検査画像の良否を判定するためのスコアを計算する工程と、
を有することを特徴とする画像評価方法。
【請求項２】
前記スコアを所定の閾値と比較することにより前記検査画像の良否を判定する工程を更に有することを特徴とする請求項１に記載の画像評価方法。
【請求項３】
前記スコアは、前記検査画像の画素毎の正規化された特徴量のうちの最大値または最小値であることを特徴とする請求項１または２に記載の画像評価方法。
【請求項４】
前記統計値は、前記複数の良品サンプルの画像の画素毎の特徴量の平均値であり、前記ばらつきの指標値は、前記複数の良品サンプルの画像の画素毎の特徴量の標準偏差であることを特徴とする請求項１乃至３のいずれか１項に記載の画像評価方法。
【請求項５】
前記正規化パラメータを事前に得る前処理工程を有し、
前記前処理工程は、
前記予め与えられた複数の良品サンプルの画像の画素毎の特徴量を計算する第１工程と、
前記第１工程で計算された前記複数の良品サンプルの画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを計算する第２工程と、
前記第２工程で計算された前記統計値および前記ばらつきの指標値を前記正規化パラメータとして記憶部に記憶する第３工程と、
含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像評価方法。
【請求項６】
前記前処理工程は、前記第２工程の前に、前記第１工程で計算された前記複数の良品サンプルの画像の画素毎の特徴量の外れ値を除外する工程を含むことを特徴とする請求項５に記載の画像評価方法。
【請求項７】
前記統計値は、前記複数の良品サンプルの画像の画素毎の特徴量の中央値であり、前記ばらつきの指標値は、前記複数の良品サンプルの画像の画素毎の特徴量の四分位範囲であることを特徴とする請求項６に記載の画像評価方法。
【請求項８】
前記四分位範囲を外れる特徴量を前記外れ値とすることを特徴とする請求項７に記載の画像評価方法。
【請求項９】
検査対象の画像である検査画像の画素毎の特徴量を計算する手段と、
予め与えられた複数の良品サンプルの画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを用いて前記検査画像の画素毎の特徴量を正規化し、該検査画像の画素毎の正規化された特徴量に基づいて前記検査画像の良否を判定するためのスコアを計算する手段と、
を有することを特徴とする画像評価装置。
【請求項１０】
コンピュータに、請求項１乃至８のいずれか１項に記載の画像評価方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を評価する画像評価方法、画像評価装置、およびプログラムに関する。
【背景技術】
【０００２】
工場等で製造された製品を良品と不良品に分類する外観検査装置は一般に、検査対象物を撮像して得た画像に対して複数の特徴量を用いて検査対象物の良否判定を行う。この方法では、製品の構造物を欠陥と誤判定しないように構造物以外の輝度レベルが均一な領域を検査領域、構造物近傍の輝度レベルが不均一な領域を非検査領域として領域を設定しておくことが一般的である。
【０００３】
しかし、検査対象物の配置誤差や検査対象物の個体差が大きくなると、検査領域内に構造物が入り込んでしまい、構造物を欠陥と誤判定してしまう問題が発生する。これを避けるために、例えば特許第３７４１６７２号公報（特許文献１）や特開２０１２−０４７６７３号公報（特許文献２）には、事前に用意した複数の良品とされる製品を撮像した画像の画素値を正規化する方法が開示されている。これらの方法は、画素毎の輝度値の平均と輝度値の標準偏差を求め、検査対象を撮像した画像の画素毎に輝度値の正規化を行う。これらの方法によれば、構造物近傍の領域では輝度値のばらつきが大きくなり、特徴量の感度を低下させることができるため、構造物を欠陥と誤判定することが低減される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７４１６７２号公報
【特許文献２】特開２０１２−０４７６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述のとおり、従来技術によれば、構造物を欠陥と誤判定することを低減することが可能である。しかし、構造物近傍に欠陥が発生した場合は、欠陥に対しても特徴量の感度が低下してしまい、欠陥を見逃してしまうという課題がある。
【０００６】
本発明は、例えば、検査画像の良否の判定精度を高めるのに有利な画像評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、検査対象の画像である検査画像の画素毎の特徴量を計算する工程と、予め与えられた複数の良品サンプルの画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを用いて前記検査画像の画素毎の特徴量を正規化し、該検査画像の画素毎の正規化された特徴量に基づいて前記検査画像の良否を判定するためのスコアを計算する工程とを有することを特徴とする画像評価方法が提供される。
【発明の効果】
【０００８】
本発明によれば、例えば、検査画像の良否の判定精度を高めるのに有利な画像評価方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像評価装置のハードウェア構成例を示す図。
【図２】実施形態における画像評価装置の機能構成例を示す図。
【図３】特徴量の計算処理の例を説明する図。
【図４】良品画像と不良品画像を例示する図。
【図５】実施形態における前処理工程の内容を示すフローチャート。
【図６】１５度間隔１２方向の欠陥を強調する特徴量を示す図。
【図７】実施形態におけるスコア計算処理の内容を示すフローチャート。
【図８】複数の良品画像の、画素毎の特徴量の平均値を示す図。
【図９】複数の良品画像の、画素毎の特徴量の標準偏差を示す図。
【図１０】良品画像と不良品画像から画素毎の特徴量を計算した結果を示す図。
【図１１】特徴量計算を行った良品画像および不良品画像に対して平均値および標準偏差を用いて正規化した結果を示す図。
【図１２】実施形態における前処理部の機能構成を示す図。
【図１３】実施形態における前処理工程の内容を示すフローチャート。
【図１４】計算された特徴量から外れ値を除外した場合の効果を説明する図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の実施形態は本発明の実施の具体例を示すにすぎないものであり、本発明は以下の実施形態に限定されるものではない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１１】
図１は、本実施形態における画像評価装置１００のハードウェア構成の一例を示す図である。画像評価装置１００は、典型的にはコンピュータ装置によって実現されうる。すなわち、画像評価装置１００は、ＣＰＵ１０１、固定的なプログラムやデータを記憶しているＲＯＭ１０２、主記憶装置として機能するＲＡＭ１０３、外部記憶装置であるＨＤＤ（ハードディスクドライブ）１０６、インタフェース（Ｉ／Ｆ）１０４を有する。これらの各部は、バス１０５により相互接続されている。ＨＤＤ１０６は、オペレーティングシステム（ＯＳ）１０６ａ、画像評価プログラム１０６ｂ、および後述する画像処理に係る各種データを記憶する記憶部として機能する。ＣＰＵ１０１は、ＨＤＤ１０６に格納された画像評価プログラム１０６ｂをＲＡＭ１０３上に展開することにより、本実施形態の動作を実行することができる。Ｉ／Ｆ１０４には撮像装置２０１が接続されており、画像評価装置１００は、撮像装置２０１で撮像された画像のデータをＩ／Ｆ１０４を介して取得することができる。撮像装置２０１は、検査対象となる製品を撮像するカメラであり、モノクロカメラでもよいしカラーカメラでもよい。なお、撮像装置２０１のかわりに、Ｉ／Ｆ１０４はネットワークと接続され、ネットワーク経由で外部装置から画像データを取得する構成であってもよい。
【００１２】
図２は、画像評価装置１００の機能構成例を示す図である。図２に示されるように、画像評価装置１００は、前処理部２００およびスコア計算部３００を有する。
【００１３】
前処理部２００は、画像取得部２０２、特徴量計算部２０３、正規化パラメータ計算部２０４、記憶部２０５を含みうる。画像取得部２０２は、撮像装置２０１から前処理用の画像を取得する。前処理用の画像は、予め与えられた複数の良品サンプルの画像であり、例えば、良品とされる製品を撮像装置２０１によって撮像して得た画像（良品画像）である。本実施形態では、前処理部２００は、撮像装置２０１に接続され、撮像装置２０１から良品画像を取得するものとして説明するが、予め撮像して得た良品画像を記憶部２０５に記憶しておき、記憶部２０５から読み出すことによって良品画像を取得してもよい。特徴量計算部２０３は、画像取得部２０２で取得された複数の良品画像から画素毎（座標毎）に特徴量を計算する。正規化パラメータ計算部２０４は、特徴量計算部２０３で計算された複数の良品画像の画素毎の特徴量から、画素毎の特徴量の統計（代表値）と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを計算する。記憶部２０５は、正規化パラメータ計算部２０４で計算された正規化パラメータを記憶する。
【００１４】
スコア計算部３００は、画像取得部３０２、特徴量計算部３０３、正規化計算部３０５、判定部３０６を含みうる。画像取得部３０２は、撮像装置２０１から検査対象の画像（検査画像）を取得する。検査画像は、良否が未知である検査対象の製品を撮像装置２０１によって撮像して得られた画像である。特徴量計算部３０３は、画像取得部３０２で取得された検査画像から画素毎に特徴量を計算する。正規化計算部３０５は、特徴量計算部３０３で計算された画素毎の特徴量を、記憶部２０５から読み出した正規化パラメータを用いて正規化し、画素毎の該正規化した値の最大値または最小値を計算する。判定部３０６は、正規化計算部３０５で計算された結果から、検査画像が良品画像であるか不良品画像であるかを判定する。
【００１５】
これらの各機能部は、ＣＰＵ１０１が、ＨＤＤ１０６に格納された画像評価プログラム１０６ｂをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されうる。また例えば、上記ＣＰＵ１０１により実行されるソフトウェア処理の少なくとも一部の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路が構成されうる。
【００１６】
以下、画像評価装置１００により実行される画像評価処理を説明する。まず、前処理部２００による前処理について説明する。図４は、良品画像４０１と不良品画像４０２の例を示す図である。良品画像４０１と不良品画像４０２のそれぞれにおいて、黒の領域は構造物を示している。構造物とは、配線、ランド等の、特徴量が急峻に変化する境界を持つ物であって、それ自体が本検査において欠陥と判定されるべきものではない物をいう。また、不良品画像４０２においては、構造物の境界付近に不良箇所の画像が表れている。
【００１７】
図５は、前処理部２００による前処理工程の内容を示すフローチャートである。前処理工程は、後述する正規化パラメータを事前に得る工程である。まずＳ５０１で、画像取得部２０２は、例えば撮像装置２０１を用いて、良品画像を複数枚取得する。次に、Ｓ５０２で、特徴量計算部２０３は、Ｓ５０１で得られた複数の良品画像の画素毎の特徴量を計算する（第１工程）。特徴量としては、輝度値、エッジ強度、高周波もしくは低周波成分の値等がありうるが、欠陥の形状を強調するものが好ましい。本実施形態では、例えば、図３（ａ）に示されるような、線状の欠陥を強調する特徴量が用いられる。図３（ａ）において、画像６０１はＳ５０１で取得された画像である。一例として、特徴量計算部２０３は、画像６０１に対して、計算対象の座標６０４を含む矩形領域６０３と、矩形領域６０３を挟む矩形領域６０２とを用いて畳み込み演算を実施し、線状の欠陥を強調する特徴量を計算する。例えば、特徴量計算部２０３は、計算対象の座標６０４に関して、矩形領域６０２内の各画素の平均値と矩形領域６０３内の各画素の平均値との比を計算する。特徴量計算部２０３は、画像６０１全体に対して計算対象の座標６０４をスキャンし、すべての座標に対して特徴量を計算する。矩形領域６０３は線状であるため、線状の欠陥を強調する特徴量が計算される。
【００１８】
図３（ａ）では、画像６０１の長手方向と矩形領域６０２及び６０３の長手方向は平行としている。しかし、線状の欠陥は画像６０１内であらゆる方向に発生しうるため、図６に示されるように、例えば１５度間隔で１２方向に回転させ、全方位を網羅するように特徴量を計算してもよい。
【００１９】
Ｓ５０３で、正規化パラメータ計算部２０４は、Ｓ５０２で計算された複数の良品画像の画素毎の特徴量の統計値と該統計値からの各特徴量のばらつきの指標値とを含む正規化パラメータを計算する（第２工程）。ここでは、複数の良品画像の画素毎の特徴量の統計値として平均値を採用し、ばらつきの指標値として標準偏差を採用する。ここでは例えば、画像評価で用いる１２方向すべての特徴量に対して画素毎の平均値および標準偏差が計算される。その後、Ｓ５０４で、正規化パラメータ計算部２０４は、計算された平均値および標準偏差を含む正規化パラメータを記憶部２０５に記憶する（第３工程）。
【００２０】
次に、スコア計算部３００によるスコア計算処理（画像評価方法）について説明する。図７は、スコア計算処理の内容を示すフローチャートである。Ｓ７０１で、画像取得部３０２は、例えば撮像装置２０１を用いて、検査画像を取得する。次にＳ７０２で、特徴量計算部３０３は、取得された検査画像に対して、画素毎に特徴量を計算する。次にＳ７０３で、正規化計算部３０５は、記憶部２０５から正規化パラメータを読み出して、すなわちＳ５０３で計算された正規化パラメータである平均値および標準偏差を用いて、Ｓ７０２で得られた検査画像の画素毎の特徴量を正規化する。そして、正規化計算部３０５は、検査画像の画素毎の正規化された特徴量に基づいて検査画像の良否を判定するためのスコア（評価値）を計算する。例えば、正規化計算部３０５は、検査画像の画素毎の正規化された特徴量のうちの最大値または最小値を求め、それを検査画像のスコアとする。検査画像の特徴量をＸ、複数の良品画像の特徴量の平均値をＡ、複数の良品画像の特徴量の標準偏差をσ、座標位置を（i,j）とすると、検査画像のスコアは、
【数１】
2020064465.tif 000003
または、
【数２】
2020064465.tif 000004
で与えられる。
【００２１】
図８および図９はそれぞれ、Ｓ５０３で得られた、複数の良品画像の画素毎の特徴量の平均値および標準偏差を表している。また、図１０において、画像１００１および画像１００２はそれぞれ、図４の良品画像４０１および不良品画像４０２に対して画素毎の特徴量を計算した結果を表している。また、図１１において、画像１１０１および画像１１０２はそれぞれ、図１０の特徴量計算を行った画像１００１および画像１００２に対して、図８の平均値８０１および図９の標準偏差９０１を用いて正規化した結果を表している。
【００２２】
図１１に示されるように、正規化によって輝度値（画素値）が平滑化されるため、良品に係る正規化された画像１１０１の全体のスコアは一様となる。特徴量に反応する方向（水平方向）の構造物近傍では配置誤差や個体差があれば標準偏差が大きくなり、欠陥部分のスコアは小さくなる。しかし、特徴量に反応しない方向（水平方向以外）の構造物近傍では配置誤差や個体差の影響は小さく、標準偏差も小さくなる。つまり、構造物近傍に欠陥がある正規化された画像１１０２の欠陥部分のスコアは大きくなる。方向の異なる複数の特徴量を用いて特徴量に反応する方向を変えることにより、すべての構造物近傍の欠陥部分のスコアを大きくすることができる。
【００２３】
本実施形態では、図６に示されるような線状の欠陥を強調する特徴量を全方位網羅するように特徴量として計算したが、線状の欠陥を強調する特徴量に限定されない。例えば図３（ｂ）に示されるように、注目画素１６０４およびその周辺画素を含む対象画素１６０３の画素値の平均と、対象画素１６０３を囲む周囲画素１６０２内の各画素の画素値の平均との比を計算してもよい。画像１６０１全体に対して注目画素１６０４の位置をスキャンし、すべての座標に対して特徴量を計算する。このような点状の欠陥を強調する特徴量、または他の欠陥を強調する特徴量を使用してもよい。
【００２４】
以上のスコア計算処理を経て、判定部３０６は、式（１）または式（２）により計算されたスコアを所定の閾値と比較することにより検査画像の良否の判定を行うことができる。例えば、判定部３０６は、スコアが閾値以下であれば良品と判定し、スコアが閾値より大きれば不良品と判定する。閾値は、不良品の見逃しを一部許す場合、許さない場合など、生産ライン状況に応じて、ユーザが決定することができる。
【００２５】
以上説明したように、本実施形態における画像評価方法では、前処理で予め求められた複数の良品画像に対する正規化パラメータを用いて検査画像の画素毎の特徴量が正規化される。その後、該正規化された特徴量に基づいて検査画像の良否を判定するためのスコアが計算される。画素毎に特徴量の正規化が行われることで、構造物近傍の特徴量に反応する領域が限定される。これにより、構造物を欠陥と誤判定することを低減させつつ、構造物近傍に発生する欠陥に対して高精度に検査対象画像を良品画像または不良品画像に分類することが可能となる。
【００２６】
＜第２実施形態＞
良品画像には不良箇所の画像が含まれていないことが求められるが、そのような不良箇所を完全に含まない画像を予め多数得るにはかなりの工数がかかる。そこで本実施形態では、良品とされる製品に不良品とはならないレベルの不良部位が含まれている場合にも対処可能な前処理部における処理について説明する。スコア計算部３００の処理内容は第１実施形態と同様のため説明は省略する。
【００２７】
図１２は、本実施形態における前処理部２００’の機能構成を示すブロック図である。図２の前処理部２００と同じ機能ブロックには同じ参照符号を付しそれらの説明は省略する。図１２の前処理部２００’は、図２の前処理部２００と比較して、特徴量計算部２０３と正規化パラメータ計算部２０４との間に外れ値除外処理部２０６が設けられている点が異なる。外れ値除外処理部２０６は、特徴量計算部２０３で計算された複数の画像の画素毎の特徴量から、すべての画像の特徴量に対して画素毎に外れ値を除外する。
【００２８】
図１３は、前処理部２００’による前処理の内容を示すフローチャートである。図５と同じ処理ステップには同じ参照符号を付す。まずＳ５０１で、画像取得部２０２は、例えば撮像装置２０１を用いて、良品画像を複数枚取得する。ただし、上記したように、良品画像には不良品とはならないレベルの不良部位が含まれうるものとする。次に、Ｓ５０２で、特徴量計算部２０３は、Ｓ５０１で得られた複数の良品画像の画素毎の特徴量を計算する。次にＳ１３０１で、外れ値除外処理部２０６は、Ｓ５０２で計算された複数の画像の画素毎の特徴量から、画素毎の特徴量についての度数分布を計算する。本実施形態において、画素毎の特徴量の統計値として中央値を採用し、ばらつきの指標値として画素毎の特徴量の四分位範囲を採用する。外れ値除外処理部２０６は、例えば、Ｎ枚の画像の画素毎の特徴量の度数分布において、小さい方からＮ／４番目に当たる特徴量を第１四分位点（２５％）として求め、中央値である２Ｎ／４番目に当たる特徴量を第２四分位点（５０％）として求める。また、３Ｎ／４番目に当たる特徴量を第３四分位点（７５％）として求める。そして、外れ値除外処理部２０６は、四分位範囲を、第３四分位点と第１四分位点との差分として計算する。
【００２９】
次にＳ５０３で、正規化パラメータ計算部２０４は、Ｓ１３０１で計算された四分位範囲を標準正規分布の確率変数１．３４８９で除算して得た値を、正規化された四分位範囲とする。そして、Ｓ５０４で、正規化パラメータ計算部２０４は、Ｓ１３０１で求められた中央値と、正規化した四分位範囲とを、正規化パラメータとして記憶部２０５に記憶する。
【００３０】
このように、本実施形態では、中央値から上下２５％までの範囲をばらつきの範囲として、それ以外の範囲を外れ値として除外する。このとき、不良品とされる製品の画像であっても、欠陥である座標の特徴量を外れ値として除外することが可能であるため、Ｓ５０１で画像取得部２０２により取得される画像は、良品とされる製品でなくともよい。
【００３１】
図１４は、計算された特徴量に外れ値が含まれている場合の標準偏差１４０１と、計算された特徴量から外れ値を除外した場合の正規化した四分位範囲１４０２を表している。式（１）または式（２）より、標準偏差１４０１ではばらつきのある領域１４０３に欠陥が発生した場合、スコアは小さくなるが、正規化した四分位範囲１４０２では、外れ値が除外されているので、ばらつきが低減され、スコアの大きさが保持される。
【００３２】
本実施形態によれば、外れ値を除外して正規化パラメータのばらつきをなくすことで、欠陥の発生場所によるスコアの低下を防ぐことができる。これにより、構造物を欠陥と誤判定することを低減させつつ、構造物近傍に発生する欠陥に対して高精度に検査画像を良品画像または不良品画像に分類することが可能となる。
【００３３】
本実施形態では、Ｓ５０５で中央値と正規化した四分位範囲を計算したが、Ｓ５０４で求めた四分位範囲に存在する特徴量から平均値と標準偏差を求めてもよく、中央絶対偏差を用いてもよい。ただし、本実施形態において、ばらつきの範囲を四分位範囲（中央値から上下２５％）としたのは一例であってそれ以外の範囲に制限してもよい。また、Ｓ５０４の外れ値除外処理は上記方法に限定されるものではく、スミルノフ・グラブスやロバスト推定、または他の方法を用いて外れ値を除外してもよい。
【００３４】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３５】
１００：画像評価装置、２００：前処理部、２０１：撮像装置、２０２：画像取得部、２０３：特徴量計算部、２０４：正規化パラメータ計算部、２０５：記憶部、３００：スコア計算部、３０２：画像取得部、３０３：特徴量計算部、３０５：正規化計算部、３０６：判定部
【図１】
2020064465.tif 000005
【図２】
2020064465.tif 000006
【図３】
2020064465.tif 000007
【図４】
2020064465.tif 000008
【図５】
2020064465.tif 000009
【図６】
2020064465.tif 000010
【図７】
2020064465.tif 000011
【図８】
2020064465.tif 000012
【図９】
2020064465.tif 000013
【図１０】
2020064465.tif 000014
【図１１】
2020064465.tif 000015
【図１２】
2020064465.tif 000016
【図１３】
2020064465.tif 000017
【図１４】
2020064465.tif 000018