(57)【要約】【課題】  画像処理アルゴリズムの評価装置を提供する。【解決手段】  画像処理アルゴリズムの評価装置として機能する画像処理装置が実行する処理は、初期の画像アルゴリズムを評価するステップ（Ｓ７１０）と、学習用画像データを設定するステップ（Ｓ７２０）と、画像処理アルゴリズムを適用するステップ（Ｓ７３０）と、特徴量算出処理（Ｓ８００）と、ＲＯＣ評価処理（Ｓ９００）と、最良のアルゴリズムを保存するステップ（Ｓ７６０）とを含む。画像処理装置は、終了条件が成立していない場合に（Ｓ７７０にてＮＯ）、画像処理アルゴリズムを適用するステップ（Ｓ７３０）以降を再び実行する。【選択図】        図７
2006260410.tif 000002
【特許請求の範囲】
【請求項１】
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受ける入力手段と、
前記原画像データと、前記欠陥情報と、画像処理を実現するための１つ以上のアルゴリズムとを格納する記憶手段と、
前記アルゴリズムと前記原画像データとに基づいて画像処理を実行する処理手段と、
抽出基準として予め定められたデータに基づいて、前記処理手段による処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出する抽出手段と、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出する特徴量算出手段と、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類する分類手段と、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出する算出手段と、
前記評価値に基づいて、前記アルゴリズムを評価するデータを生成する評価手段とを備える、画像処理アルゴリズムの評価装置。
【請求項２】
前記算出手段は、
前記抽出対象を検出できない割合を表わす未検出率を算出する未検出率算出手段と、
前記非抽出対象を検出した割合を表わす誤検出率を算出する誤検出率算出手段と、
前記未検出率と前記誤検出率とに基づいて前記評価値を算出する評価値算出手段とを含む、請求項１に記載の画像処理アルゴリズムの評価装置。
【請求項３】
前記評価値算出手段は、前記未検出率に対する重み係数と前記未検出率との積と、前記誤検出率に対する重み係数と前記誤検出率との積とに基づいて前記評価値を算出する、請求項２に記載の画像処理アルゴリズムの評価装置。
【請求項４】
前記評価値算出手段は、前記第１の評価基準と前記第２の評価基準との関係を表わすレシーバオペレーティング特性に基づく評価値を前記評価値として算出する、請求項２に記載の画像処理アルゴリズムの評価装置。
【請求項５】
前記原画像データと前記欠陥情報とに基づいて、目標画像データを生成する生成手段をさらに備え、前記目標画像データは、前記アルゴリズムを前記原画像データに適用した場合に設定される処理の結果の目標画像を表わし、
前記処理手段による処理後の画像データと前記目標画像データとの差を算出する演算手段と、
予め設定された許容値と前記差との比較の結果に基づいて、前記評価値の優劣を表わすために予め定められた分類データと前記評価値とを関連付けて前記記憶手段に格納する関連付け手段とをさらに備える、請求項２に記載の画像処理アルゴリズムの評価装置。
【請求項６】
前記予め定められた分類データは、前記レシーバオペレーティング特性に基づく評価が不可能であることを表わす第１のデータと、前記レシーバオペレーティング特性に基づく評価が可能であることを表わす第２のデータと、前記レシーバオペレーティング特性に基づく評価が可能であって、かつ、前記欠陥の候補が前記抽出対象と前記非抽出対象とに分類されることを表わす第３のデータとを含み、
前記関連付け手段は、前記比較の結果に応じて前記分類データを選択し、前記選択したデータと前記評価値とを関連付けて前記記憶手段に格納する、請求項５に記載の画像処理アルゴリズムの評価装置。
【請求項７】
予め設定された許容誤検出率を格納する検出率記憶手段と、
前記誤検出率算出手段により算出された誤検出率と前記許容誤検出率とを比較する比較手段と、
前記誤検出率算出手段により算出された誤検出率が前記許容誤検出率を下回る場合に、前記非抽出対象に分類された欠陥の候補を前記抽出対象として分類し直す修正手段とをさらに備える、請求項２に記載の画像処理アルゴリズムの評価装置。
【請求項８】
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受ける入力手段と、
前記原画像データと、前記欠陥情報と、画像処理を実現するアルゴリズムを構成するための複数のモジュールを格納するモジュール記憶手段と、
前記複数のモジュールに基づいて、１つ以上のアルゴリズムを生成する生成手段と、
前記生成手段により生成されたアルゴリズムと前記原画像データとに基づいて、画像処理を実行する処理手段と、
抽出基準として予め定められたデータに基づいて、前記処理手段による処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出する抽出手段と、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出する特徴量算出手段と、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類する分類手段と、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出する算出手段と、
前記評価値に基づいて、前記アルゴリズムを評価する評価データを生成する評価手段と、
前記評価データに基づいて、前記生成手段によるアルゴリズムの生成を制御する制御手段とを備える、画像処理アルゴリズムの生成装置。
【請求項９】
前記制御手段は、
前記算出手段により算出された評価値に基づいて、新たなアルゴリズムを生成するか否かを判断する判断手段と、
前記判断手段が新たなアルゴリズムを生成すると判断した場合に、前記生成手段に前記新たなアルゴリズムを生成させる生成制御手段とを含む、請求項８に記載の画像処理アルゴリズムの生成装置。
【請求項１０】
前記判断手段は、前記アルゴリズムを評価するデータが予め定められた評価基準を上回る場合には、新たなアルゴリズムを生成しないと判断し、そして、前記アルゴリズムを評価するデータが前記評価基準を下回る場合には、新たなアルゴリズムを生成すると判断する、請求項９に記載の画像処理アルゴリズムの生成装置。
【請求項１１】
前記生成手段は、前記評価手段により評価されたアルゴリズムに含まれているモジュールを変更することにより、新たなアルゴリズムを生成する、請求項８に記載の画像処理アルゴリズムの生成装置。
【請求項１２】
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、
データを格納する記憶手段に、前記原画像データと前記欠陥情報とを格納するステップと、
画像処理を実現するためのアルゴリズムと前記原画像データとに基づいて、画像処理を実行するステップと、
抽出基準として予め定められたデータに基づいて、前記画像処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出するステップと、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、
前記評価値に基づいて、前記アルゴリズムを評価するデータを生成するステップとを備える、画像処理アルゴリズムの評価方法。
【請求項１３】
画像処理を実現するアルゴリズムを構成するための複数のモジュールを準備するステップと、
前記複数のモジュールに基づいて、画像処理のための１つ以上のアルゴリズムを生成するステップと、
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、
データを格納する記憶手段に、前記原画像データと前記欠陥情報とを格納するステップと、
前記アルゴリズムと前記原画像データとに基づいて、前記画像処理を実行するステップと、
抽出基準として予め定められたデータに基づいて、前記画像処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出するステップと、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、
前記評価値に基づいて、前記アルゴリズムを評価する評価データを生成するステップと、
前記評価データに基づいて、新たなアルゴリズムの生成を制御するステップとを備える、画像処理アルゴリズムの生成方法。
【請求項１４】
コンピュータを画像処理アルゴリズムの評価装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、
データを格納する記憶手段に、前記原画像データと前記欠陥情報とを格納するステップと、
画像処理を実現するためのアルゴリズムと前記原画像データとに基づいて、画像処理を実行するステップと、
抽出基準として予め定められたデータに基づいて、前記画像処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出するステップと、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、
前記評価値に基づいて、前記アルゴリズムを評価するデータを生成するステップとを実行させる、プログラム。
【請求項１５】
コンピュータを画像処理アルゴリズムの生成装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
画像処理を実現するアルゴリズムを構成するための複数のモジュールを準備するステップと、
前記複数のモジュールに基づいて、画像処理のための１つ以上のアルゴリズムを生成するステップと、
画像処理の対象となる原画像データと、前記画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、
データを格納する記憶手段に、前記原画像データと前記欠陥情報とを格納するステップと、
前記アルゴリズムと前記原画像データとに基づいて、前記画像処理を実行するステップと、
抽出基準として予め定められたデータに基づいて、前記画像処理後の画像データから、前記欠陥の候補を表わす欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴を表わす特徴量を算出するステップと、
前記特徴量と前記欠陥情報とに基づいて、前記欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、
予め定められた第１の評価基準に基づいて前記分類の結果を表わす第１の結果データと、前記第１の評価基準と異なる第２の評価基準に基づいて前記分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、
前記評価値に基づいて、前記アルゴリズムを評価する評価データを生成するステップと、
前記評価データに基づいて、新たなアルゴリズムの生成を制御するステップとを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理アルゴリズムの品質を評価する技術に関する。より特定的には、本発明は、画像データから所望の対象物を含む領域を抽出するために使用される画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータを評価装置として機能させるためのプログラム、およびコンピュータを生成装置として機能させるためのプログラムに関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge  Coupled  Device）等の画像撮像デバイスやパーソナルコンピュータ等の画像処理機器の低価格化により、画像処理の適用分野が広がりつつある。とりわけ、産業分野における欠陥検査への画像処理の適用は広範に渡っている。そのため、製品やデバイスの歩留まり、品質の向上や目視検査員の削減等によるコストダウンの観点から、画像処理の必要性は、ますます高くなっている。現在では、欠陥検査のために、対象とする製品やデバイスに合わせて多種多様な画像処理アルゴリズムが開発されている。これは、欠陥検査向けの画像処理アルゴリズムは欠陥対象毎に専用設計することが一般的であり、一度設計した画像処理アルゴリズムを他の欠陥検査に適用できない場合が多いためである。その結果、一度開発した画像処理アルゴリズムは、ほとんど再利用されないため、適用分野および検査対象の拡大に比例して開発工数は増加することになる。
【０００３】
しかし、画像処理アルゴリズムは、その開発・導入においても非常に多くの工数を必要とするため、画像処理適用分野の拡大にともない、画像処理アルゴリズムの自動生成手法の確立が切望されている。生成されるアルゴリズムは、導入後の多少の環境や対象の変動に対しても安定して作動する高品質なものであることが求められる。そのため、画像処理アルゴリズムの自動生成手法の確立に先立ち、画像処理アルゴリズムの品質を評価する手法の確立も求められている。
【０００４】
一般に、画像処理アルゴリズムの開発工程は、設計工程と調整工程とを含む。設計工程において画像処理アルゴリズムの設計が完了しても、調整工程において、各種のパラメータ変更とその評価とが試行錯誤的に繰り返される。たとえば、開発時に入手された欠陥画像データサンプルに含まれる欠陥の特徴量とわずかに特徴量が異なる欠陥が発生した場合、背景画像のパターンや輝度が変動した場合、あるいは過検出もしくは未検出が発生した場合等には、画像処理アルゴリズムを調整するための作業が再び必要になる。
【０００５】
このような問題を解決するために、画像処理アルゴリズムの評価を行ない、その評価結果に基づいて画像処理アルゴリズムを生成する技術として、欠陥画像データサンプルに対して所望の欠陥のみを抽出した目標画像と、良品画像データサンプルに対しては何も抽出されない目標画像をあらかじめ作業者が設定して、各画像データサンプルが画像処理アルゴリズムによって処理されたものである結果画像と各々の目標画像の差によって画像処理アルゴリズムの品質を評価し、その評価結果に基づいて画像処理アルゴリズムのパラメータ変更を行なう手法がある（例えば、特許文献１参照）。
【０００６】
また、実際に工程運用する際には、確実に不良（以下、ＮＧ（No  Good））と判断される欠陥の候補のみをＮＧとするスクリーニング運用から、疑わしいものを全てＮＧとするスクリーニング運用に変更するといった場合があり、工程運用に合せて画像処理アルゴリズムの追加・調整を行なうことが必要である。
【０００７】
そこで、このような問題を解決するために、欠陥候補が欠陥と判定される最低の閾値である限界閾値を変更するような、検出条件や判定条件の調整などが行なわれることになる（例えば、特許文献２参照）。
【特許文献１】特開２００２−３６６９２９号公報
【特許文献２】特開２００４−２３９７２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特開２００２−３６６９２９号公報に開示された技術では、目標画像として欠陥画像データサンプルの画素ごとに目標となる達成濃度値が設定される。これは、欠陥部位に相当する画素の達成濃度値が、取りうる濃度範囲内の最小値とされ、欠陥部位に相当しない画素の達成濃度値は、当該範囲内の最大値とされる。通常、このような達成濃度値に至るまでは２値化処理が必要とされる。この２値化処理では、相当な画像情報量が失われる。ここで、欠陥画像データサンプルの濃度階調を２５６段階とし、欠陥画像データサンプルに含まれる欠陥部位の最大濃度が１２０であり、非欠陥部位の最小濃度が１３０であると仮定する。このときの欠陥部位と非欠陥部位の濃度差は、１０である。
【０００９】
ここにおいて、ある画像処理アルゴリズムにより欠陥画像データサンプル内の欠陥部位の最大濃度値が１２５に変換され、非欠陥部位の最小濃度値が１２６に変換された後にしきい値１２６にて２値化処理が施された場合、欠陥部位は濃度値が最小となり、非欠陥部位は濃度値が最大となる。その結果、処理の結果は目標画像と一致するため、評価値は最高となり、当該処理を実現したアルゴリズムは、最良の画像処理アルゴリズムと判断される。しかしながら、実際には、この画像処理アルゴリズムにより欠陥部位と非欠陥部位の濃度差は１０から１に縮小している。この画像処理アルゴリズムでは画像データサンプルと比較して検査時の画像データの濃度変動が１以上発生した場合に欠陥部位と非欠陥部位とが正確に分離されなくなるため、画像処理アルゴリズムの品質は低いと判断すべきである。これは、欠陥部位と非欠陥部位がどの程度の濃度差をもって分離されたのか考慮されないためである。
【００１０】
特開２００４−２３９７２８号公報に開示された技術によると、Ｎ個の画像検出手段が予め設定される。それらの画像検出手段を適用した際の誤検出率、検出率などが保存される。Ｎ個の画像検出手段の中から、最も検出率の高いものが選択される。検査は、この検出条件を用いて行なわれる。つまり、複数の画像検出手段と検出条件の中から、最適な条件が選択されており、誤検出率等は、繰り返し学習時の画像処理アルゴリズムの定量評価に必ずしも用いられていない。
【００１１】
本発明は、上述の問題点を解決するためになされたものであって、その目的は、画像処理アルゴリズムの品質を定量的に評価することができる評価装置を提供することである。
【００１２】
本発明の他の目的は、欠陥の候補を真の欠陥と擬似的な欠陥とに分離することが困難な画像に対しても、未検出率または誤検出率が向上するような画像処理アルゴリズムを生成することができる画像処理アルゴリズムの生成装置を提供することである。
【００１３】
本発明の他の目的は、画像処理の態様に応じた評価基準を設定することにより、外観検査をより正確に実現することができる画像処理アルゴリズムの生成装置を提供することである。
【００１４】
本発明の他の目的は、画像処理アルゴリズムの品質を定量的に評価することができる画像処理アルゴリズムの評価方法を提供することである。
【００１５】
本発明の他の目的は、欠陥の候補を真の欠陥と擬似的な欠陥とに分離することが困難な画像に対しても、未検出率または誤検出率が向上するような画像処理アルゴリズムを生成することができる画像処理アルゴリズムの生成方法を提供することである。
【００１６】
本発明の他の目的は、画像処理の態様に応じた評価基準を設定することにより、外観検査をより正確に実現することができる画像処理アルゴリズムの生成方法を提供することである。
【００１７】
本発明の他の目的は、画像処理アルゴリズムの品質を定量的に評価することができる評価装置としてコンピュータを機能させるためのプログラムを提供することである。
【００１８】
本発明の他の目的は、欠陥の候補を真の欠陥と擬似的な欠陥とに分離することが困難な画像に対しても、未検出率または誤検出率が向上するような画像処理アルゴリズムを生成することができる画像処理アルゴリズムの生成装置として、コンピュータを機能させるためのプログラムを提供することである。
【００１９】
本発明のさらに他の目的は、画像処理の態様に応じた評価基準を設定することにより、外観検査をより正確に実現することができる画像処理アルゴリズムの生成装置としてコンピュータを機能させるためのプログラムを提供することである。
【課題を解決するための手段】
【００２０】
上記の課題を解決するために、この発明のある局面に従うと、画像処理アルゴリズムの評価装置は、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受ける入力手段と、原画像データと、欠陥情報と、画像処理を実現するための１つ以上のアルゴリズムとを格納する記憶手段と、アルゴリズムと原画像データとに基づいて画像処理を実行する処理手段と、抽出基準として予め定められたデータに基づいて、処理手段による処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出する抽出手段と、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出する特徴量算出手段と、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類する分類手段と、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出する算出手段と、評価値に基づいて、アルゴリズムを評価するデータを生成する評価手段とを備える。
【００２１】
好ましくは、算出手段は、抽出対象を検出できない割合を表わす未検出率を算出する未検出率算出手段と、非抽出対象を検出した割合を表わす誤検出率を算出する誤検出率算出手段と、未検出率と誤検出率とに基づいて評価値を算出する評価値算出手段とを含む。
【００２２】
好ましくは、評価値算出手段は、未検出率に対する重み係数と未検出率との積と、誤検出率に対する重み係数と誤検出率との積とに基づいて評価値を算出する。
【００２３】
好ましくは、評価値算出手段は、第１の評価基準と第２の評価基準との関係を表わすレシーバオペレーティング特性に基づく評価値を評価値として算出する。
【００２４】
好ましくは、画像処理アルゴリズムの評価装置は、原画像データと欠陥情報とに基づいて、目標画像データを生成する生成手段をさらに備える。目標画像データは、アルゴリズムを原画像データに適用した場合に設定される処理の結果の目標画像を表わす。当該評価装置は、処理手段による処理後の画像データと目標画像データとの差を算出する演算手段と、予め設定された許容値と差との比較の結果に基づいて、評価値の優劣を表わすために予め定められた分類データと評価値とを関連付けて記憶手段に格納する関連付け手段とをさらに備える。
【００２５】
好ましくは、予め定められた分類データは、レシーバオペレーティング特性に基づく評価が不可能であることを表わす第１のデータと、レシーバオペレーティング特性に基づく評価が可能であることを表わす第２のデータと、レシーバオペレーティング特性に基づく評価が可能であって、かつ、欠陥の候補が抽出対象と非抽出対象とに分類されることを表わす第３のデータとを含む。関連付け手段は、比較の結果に応じて分類データを選択し、選択したデータと評価値とを関連付けて記憶手段に格納する。
【００２６】
好ましくは、画像処理アルゴリズムの評価装置は、予め設定された許容誤検出率を格納する検出率記憶手段と、誤検出率算出手段により算出された誤検出率と許容誤検出率とを比較する比較手段と、誤検出率算出手段により算出された誤検出率が許容誤検出率を下回る場合に、非抽出対象に分類された欠陥の候補を抽出対象として分類し直す修正手段とをさらに備える。
【００２７】
この発明の他の局面に従うと、画像処理アルゴリズムの生成装置は、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受ける入力手段と、原画像データと、欠陥情報と、画像処理を実現するアルゴリズムを構成するための複数のモジュールを格納するモジュール記憶手段と、複数のモジュールに基づいて、１つ以上のアルゴリズムを生成する生成手段と、生成手段により生成されたアルゴリズムと原画像データとに基づいて、画像処理を実行する処理手段と、抽出基準として予め定められたデータに基づいて、処理手段による処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出する抽出手段と、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出する特徴量算出手段と、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類する分類手段と、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出する算出手段と、評価値に基づいて、アルゴリズムを評価する評価データを生成する評価手段と、評価データに基づいて、生成手段によるアルゴリズムの生成を制御する制御手段とを備える。
【００２８】
好ましくは、制御手段は、算出手段により算出された評価値に基づいて、新たなアルゴリズムを生成するか否かを判断する判断手段と、判断手段が新たなアルゴリズムを生成すると判断した場合に、生成手段に新たなアルゴリズムを生成させる生成制御手段とを含む。
【００２９】
好ましくは、判断手段は、アルゴリズムを評価するデータが予め定められた評価基準を上回る場合には、新たなアルゴリズムを生成しないと判断し、そして、アルゴリズムを評価するデータが評価基準を下回る場合には、新たなアルゴリズムを生成すると判断する。
【００３０】
好ましくは、生成手段は、評価手段により評価されたアルゴリズムに含まれているモジュールを変更することにより、新たなアルゴリズムを生成する。
【００３１】
この発明の他の局面に従うと、画像処理アルゴリズムの評価方法は、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、データを格納する記憶手段に、原画像データと欠陥情報とを格納するステップと、画像処理を実現するためのアルゴリズムと原画像データとに基づいて、画像処理を実行するステップと、抽出基準として予め定められたデータに基づいて、画像処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出するステップと、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出するステップと、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、評価値に基づいて、アルゴリズムを評価するデータを生成するステップとを備える。
【００３２】
この発明の他の局面に従うと、画像処理アルゴリズムの生成方法は、画像処理を実現するアルゴリズムを構成するための複数のモジュールを準備するステップと、複数のモジュールに基づいて、画像処理のための１つ以上のアルゴリズムを生成するステップと、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、データを格納する記憶手段に、原画像データと欠陥情報とを格納するステップと、アルゴリズムと原画像データとに基づいて、画像処理を実行するステップと、抽出基準として予め定められたデータに基づいて、画像処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出するステップと、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出するステップと、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、評価値に基づいて、アルゴリズムを評価する評価データを生成するステップと、評価データに基づいて、新たなアルゴリズムの生成を制御するステップとを備える。
【００３３】
この発明の他の局面に従うと、プログラムは、コンピュータを、画像処理アルゴリズムの評価装置として機能させる。このプログラムは、コンピュータに、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、データを格納する記憶手段に、原画像データと欠陥情報とを格納するステップと、画像処理を実現するためのアルゴリズムと原画像データとに基づいて、画像処理を実行するステップと、抽出基準として予め定められたデータに基づいて、画像処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出するステップと、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出するステップと、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、評価値に基づいて、アルゴリズムを評価するデータを生成するステップとを実行させる。
【００３４】
この発明のさらに他の局面に従うと、プログラムは、コンピュータを、画像処理アルゴリズムの生成装置として機能させる。このプログラムは、コンピュータに、画像処理を実現するアルゴリズムを構成するための複数のモジュールを準備するステップと、複数のモジュールに基づいて、画像処理のための１つ以上のアルゴリズムを生成するステップと、画像処理の対象となる原画像データと、画像処理の対象となる被写体の表面における欠陥を表わす欠陥情報との入力を受けるステップと、データを格納する記憶手段に、原画像データと欠陥情報とを格納するステップと、アルゴリズムと原画像データとに基づいて、画像処理を実行するステップと、抽出基準として予め定められたデータに基づいて、画像処理後の画像データから、欠陥の候補を表わす欠陥候補データを抽出するステップと、欠陥候補データに基づいて、欠陥の候補の特徴を表わす特徴量を算出するステップと、特徴量と欠陥情報とに基づいて、欠陥の候補を、欠陥として抽出する対象である抽出対象と、欠陥として抽出する対象でない非抽出対象とに分類するステップと、予め定められた第１の評価基準に基づいて分類の結果を表わす第１の結果データと、第１の評価基準と異なる第２の評価基準に基づいて分類の結果を表わす第２の結果データとに基づく評価値を算出するステップと、評価値に基づいて、アルゴリズムを評価する評価データを生成するステップと、評価データに基づいて、新たなアルゴリズムの生成を制御するステップとを実行させる。
【発明の効果】
【００３５】
本発明に係る画像処理アルゴリズムの評価装置によると、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度が定量化され、予め定められた２つの評価基準に基づく評価値が算出される。したがって、画像処理のためのアルゴリズムは、この評価値に基づいて定量的に評価され得る。
【００３６】
本発明に係るアルゴリズム生成装置によると、画像処理のために生成されたアルゴリズムについて、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度が定量化され、予め定められた２つの評価基準に基づく評価値が算出される。したがって、当該アルゴリズムは、この評価値に基づいて定量的に評価され得る。この評価の結果に応じて、新たなアルゴリズムが生成される。このようにすると、欠陥の抽出のための画像処理に関し、予め定められた目標を満足するようなアルゴリズムを生成することができる。
【００３７】
本発明に係るアルゴリズム評価方法によると、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度が定量化され、予め定められた２つの評価基準に基づく評価値が算出される。したがって、画像処理のためのアルゴリズムは、この評価値に基づいて定量的に評価され得る。
【００３８】
本発明に係るアルゴリズム生成方法によると、画像処理のために生成されたアルゴリズムについて、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度が定量化され、予め定められた２つの評価基準に基づく評価値が算出される。したがって、当該アルゴリズムは、この評価値に基づいて定量的に評価され得る。この評価の結果に応じて、新たなアルゴリズムが生成される。このようにすると、欠陥の抽出のための画像処理に関し、予め定められた目標を満足するようなアルゴリズムを生成することができる。
【００３９】
本発明に係るプログラムによると、コンピュータは、画像処理アルゴリズムの評価装置として機能することができる。すなわち、コンピュータは、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度を定量化し、そして予め定められた２つの評価基準に基づく評価値を算出する。したがって、コンピュータは、画像処理のためのアルゴリズムを、この評価値に基づいて定量的に評価することができる。
【００４０】
本発明に係るプログラムによると、コンピュータはアルゴリズム生成装置として機能することができる。すなわち、コンピュータは、画像処理のために生成されたアルゴリズムについて、複数の抽出対象物の特徴量と、複数の非抽出対象物の特徴量とに基づいて、両者の分離度を定量化し、予め定められた２つの評価基準に基づく評価値を算出する。したがって、当該アルゴリズムは、この評価値に基づいて定量的に評価され得る。コンピュータは、この評価の結果に応じて、新たなアルゴリズムを生成する。これにより、コンピュータは、欠陥の抽出のための画像処理に関し、予め定められた目標を満足するようなアルゴリズムを生成することができる。
【発明を実施するための最良の形態】
【００４１】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００４２】
図１を参照して、本発明の実施の形態に係る検査システムについて説明する。図１は、検査システム１０の構成を表わすブロック図である。
【００４３】
検査システム１０は、画像処理装置１００と、ステージ１１１と、ライト１１３と、ＣＣＤカメラ１１４と、コントローラ１１５とを含む。画像処理装置１００は、後述するようにアルゴリズム評価装置とアルゴリズム生成装置として機能する。
【００４４】
ここで、画像処理アルゴリズムとは、一般にいくつかの画像処理フィルタが連結したものをいう。本実施の形態に係る画像処理アルゴリズムの生成装置は、後述する評価処理によって評価値を算出し、当該評価値に基づいて画像処理を実現するモジュールの組み合せや、各モジュールが持つパラメータ値の変更を繰り返して、評価値のより高い画像処理アルゴリズムを自動的に生成する。また、画像処理フィルタは、画像処理装置１００の使用者あるいはプログラム等によって予め登録され、もしくは生成されたものの中から選択される。
【００４５】
画像処理装置１００は、コントローラ１１５に対して制御信号を送信することにより、ステージ１１１の動作と、ＣＣＤカメラ１１４による撮影のための動作と、ライト１１３による発光とを、それぞれ制御する。画像処理装置１００は、ＣＣＤカメラ１１４からの映像信号の入力を受けて、後述するように、生成された画像処理アルゴリズムを用いて画像処理を実行する。
【００４６】
ステージ１１１には、画像処理による検査の対象となる検査対象物１１２が予め定められた位置に搬入され、撮影処理の後搬出される。ライト１１３は、たとえば環状のライトであり、コントローラ１１５からの信号に基づいてステージ１１１に対して指示信号に応じた光量を発光する。
【００４７】
ＣＣＤカメラ１１４は、ステージ１１１において予め定められた範囲に対して撮影処理を実行し、撮影の結果得られる映像信号を出力する。この信号は、画像処理装置１００の入力インターフェイス（図示しない）を介して画像処理装置１００に入力される。
【００４８】
コントローラ１１５は、検査システム１０を実現するために構成された制御盤である。なお、コントローラ１１５は、画像処理装置１００に含まれていてもよい。
【００４９】
図２を参照して、画像処理装置１００の構成について説明する。図２は、画像処理装置１００のハードウェア構成を表わすブロック図である。
【００５０】
画像処理装置１００は、入力部２１０と、処理部２２０と、データ記憶部３００と、表示部２４０とを含む。処理部２２０は、入力されるデータに基づいて抽出対象を設定する設定部２２２と、生成部２２４と、生成部２２４から出力されるデータに基づいてアルゴリズムを評価する評価部２２６と、判断部２２８とを含む。
【００５１】
入力部２１０は、後述するように、たとえば入力ポート、キーボード、タッチパネルその他の、外部からのデータの入力を受けることができる装置により実現される。処理部２２０は、画像処理装置１００がソフトウェア的に実現される場合には、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processor  Unit）その他の演算処理装置に各機能を実現する処理を実行させることにより、実現される。あるいは、画像処理装置１００がハードウェア的に実現される場合には、各機能を実現する回路を組み合わせることにより実現される。データ記憶部３００は、たとえばハードディスク、フラッシュメモリその他の不揮発性媒体により実現される。また、データ記憶部３００は、データを一時的に格納するＲＡＭ（Random  Access  Memory）等を含んでいてもよい。表示部２４０は、液晶ディスプレイその他の画像を表示可能な装置により実現される。なお、画像処理装置１００の構成は上述のものに限られず、その他の装置により実現されてもよい。
【００５２】
生成部２２４は、画像処理を実現するアルゴリズムを構成するために予め準備された複数のモジュールに基づいて当該アルゴリズムを生成する。生成部２２４は、判断部２２８による判断結果に基づいてアルゴリズムを生成する。たとえば後述するように、アルゴリズムを評価するデータが予め定められた評価基準を上回る場合には、生成部２２４は、新たなアルゴリズムを生成する。一方、当該アルゴリズムを評価するデータがその評価基準を下回る場合には、生成部２２４は、新たなアルゴリズムを生成しない。
【００５３】
評価部２２６は、画像処理装置１００に対して入力されたデータと生成部２２４により生成されたアルゴリズムとに基づいて、そのアルゴリズムが所定の画像処理を実行するために十分であるか否かを評価する。評価部２２６は、たとえば、レシーバオペレーティング特性（いわゆるＲＯＣ（Receiver  Operating  Characteristics））解析に基づく評価値を算出する。
【００５４】
判断部２２８は、予め定められた評価基準と生成部２２４により生成されたアルゴリズムの評価を表わすデータとに基づいて、新たなアルゴリズムを生成するか否かを判断する。
【００５５】
データ記憶部３００は、入力部２１０を介して外部から画像処理装置１００に対して入力されるデータと、処理部２２０において生成されたデータとを記憶している。
【００５６】
外部から入力されるデータは、たとえば画像処理の対象となる検査対象物１１２の撮影により得られた原画像データと、アルゴリズムを生成するために予め準備され登録されたモジュールプログラムと、当該アルゴリズムを生成するために使用されるパラメータと、アルゴリズムを評価するために予め定められた評価基準などを含む。生成部２２０により生成されるデータは、前述のように生成されたアルゴリズム、当該アルゴリズムの評価のために生成された評価データなどを含む。データ記憶部３００におけるデータ構造については後述する。
【００５７】
図３および図４を参照して、画像処理装置１００におけるデータ構造について説明する。図３は、画像処理装置１００が備えるデータ記憶部３００におけるデータの格納の一態様を表わす図である。図４は、画像処理装置１００による処理の後に生成されたデータの格納の態様を表わす図である。なお、以下のデータ構造はあくまで例示のためのものであって、その他の態様によりデータが格納されていてもよい。また、データ記憶部３００は、必ずしも１つの記憶媒体により実現されなくてもよく、複数のハードディスクあるいはフラッシュメモリ、ＲＡＭ等が組み合わされてもよい。
【００５８】
図３に示されるように、データ記憶部３００は、データを格納するための領域３０２〜３６２を含む。画像処理装置１００による学習のために予め準備され入力されたデータは、たとえば領域３０２に格納されている。その学習用の画像データの位置を表わすデータは、位置データとして領域３０４に格納されている。
【００５９】
入力部２１０を介して入力された原画像データは、領域３１０に格納されている。生成部２２４により生成されるアルゴリズムの評価のために予め準備されたデータは、欠陥情報として領域３１２に格納されている。欠陥情報は、たとえば目標画像データ、重み画像データなどを含む。アルゴリズムを評価するために用いられる重み係数は、領域３１４または領域３１６に格納されている。たとえば入力部２１０を介して未検出率のための重み係数および誤検出率のための重み係数が初期値として入力された場合には、それらの係数はデフォルト値として領域３１４，３１６に格納される。その後、画像処理装置１００の使用者が入力部２１０を介して他のデータを入力すると、そのデータは領域３１４あるいは領域３１６に再び格納され、更新される。
【００６０】
なお、未検出率とは、後に詳述するように、画像処理アルゴリズムの評価基準の１つである。この場合、未検出率は、本来検出されるべきであったにもかかわらず検出されなかった数量の全体の数量に対する割合として算出される。同様に、後述する誤検出率も当該評価基準の１つである。この場合、誤検出率は、本来検出されるべきでなかったにもかかわらず検出された数量の、全体の数量に対する割合として算出される。なお、当該評価基準および各基準は、上述のものに限られない。特定の処理の結果を定量的に表現できる基準であればよい。
【００６１】
アルゴリズムを評価するために予め準備される許容誤差である許容誤検出率は、領域３１８に格納されている。画像処理により抽出されるべき欠陥の数を表わす抽出対象物数Ｎの値は、領域３２０に格納されている。アルゴリズムを生成するための処理が繰り返される場合に、当該繰り返しの終了を定める条件は、ループ処理の終了条件として領域３２２に格納されている。
【００６２】
画像処理のアルゴリズムを構成するために予め準備されたモジュールプログラムは、たとえば画像処理モジュールとして領域３３０，３３２などに格納されている。また当該アルゴリズムの処理を微調整するために用いられるパラメータは、たとえば領域３４０，３４２に格納されている。
【００６３】
画像処理モジュールとパラメータとに基づいて構成されるアルゴリズムは、領域３５０〜３５４にそれぞれ格納される。なお、画像処理のためのアルゴリズムは、モジュールプログラムとパラメータとの組み合せにより追加して生成することができる。新たに生成されたアルゴリズムは、その他の領域に順次格納される。
【００６４】
表示部２４０にデータの入力を受けるための画面を表示させる表示プログラムは、領域３６０に格納されている。画像処理装置１００の基本動作を制御するためのオペレーティングシステムは、領域３６２に格納されている。
【００６５】
図３に示される各データは、画像処理装置１００の構成時に予め設定されるが、その後入力部２１０を介したデータの入力によりそれぞれ更新することができる。
【００６６】
図４に示されるように、画像処理装置１００による画像処理の結果得られるデータは、同様にデータ記憶部３００に格納される。たとえば画像処理後の画像データは、領域４０２〜４０６に格納されている。
【００６７】
真の欠陥と擬似的な欠陥とを分離するために用いられるしきい値である分離閾値は、領域４１０に格納されている。生成部２２４により生成されたアルゴリズムに基づいて欠陥の抽出を行なった場合に算出される２つの検出率は、それぞれ領域４１２，４１４に格納されている。すなわち抽出すべき対象であった欠陥を検出できなかった割合を表わす未検出率は、領域４１２に格納されている。欠陥として抽出する対象でない非抽出対象を検出した割合を表わす誤検出率は、領域４１４に格納されている。真の欠陥の分布と擬似的な欠陥の分布との差を表わすマージンは、領域４１６に格納されている。このマージンは、たとえば真の欠陥の分布の最小値と擬似的な欠陥の分布の最大値との差である。
【００６８】
生成部２２４に生成されたアルゴリズムに基づいて抽出された欠陥の候補を表わすデータは、領域４２０に格納されている。その欠陥の候補の形状に基づいて算出された特徴量は、領域４２２に格納されている。ここで特徴量とは、処理の対象となる画像の特徴を表わすためのデータをいう。特徴量は、たとえば基準の位置に対する画像の位置、画像の形状、画像の面積などを含む。あるいは、特徴量は、欠陥の候補と背景とのコントラストや欠陥の候補の重心座標などを含んでもよい。
【００６９】
抽出された欠陥の候補の分類結果は、領域４２４に格納されている。分類結果は、欠陥の候補が欠陥として抽出する対象であるか否かを表わす。領域４２０から４２４に格納されているデータは、生成部２２４により生成されるアルゴリズムごとにそれぞれ関連付けて格納される。
【００７０】
図５を参照して、画像処理装置１００における画面の表示態様について説明する。図５は、画像処理装置１００が備える表示部２４０における入力画面の一態様を表わす図である。この画面は、画像処理のためのアルゴリズムを評価する場合に使用されるパラメータの入力時に表示される。
【００７１】
図５（Ａ）に示されるように、アルゴリズム評価処理が開始されると、表示部２４０は、使用者による指示の入力を受けるための画面を表示する。表示部２４０は、予め準備された画像表示プログラムに基づいて表示されるアイコン５１０〜５５０を表示する。すなわち表示部２４０は、画像データの入力を受けるための処理を起動するアイコン５１０と、処理条件の入力を受けるための処理を起動するアイコン５２０と、重み係数の設定を開始するためのアイコン５３０と、アルゴリズムの評価処理の実行を開始するためのアイコン５４０と、評価処理の終了を表わすアイコン５５０とをそれぞれ表示する。使用者がマウスその他のポインティングデバイス（図示しない）を操作すると、その操作に応じて表示される選択のためのアイコン５００は、アイコン５１０から５５０のいずれかの選択を可能にする。その使用者が、アイコン５００を介してたとえばアイコン５３０を選択すると、表示部２４０は画面の表示を「重み係数の設定」画面に切り換える（図５（Ｂ））。
【００７２】
表示部２４０は、重み係数の設定画面において、誤検出率に対する重み係数αのデータ入力を受ける領域５６０と、未検出率に対する重み係数βに対するデータの入力を受けるための領域５７０とを表示する。使用者が各領域に任意のデータを入力することにより、生成部２２４により生成されるアルゴリズムを評価するための基準を設定することができる。また、使用者がアイコン５８０を押下すると、重み係数αおよびβは、それぞれ予め定められた初期値に戻される。たとえばαおよびβは、ともに「０．５」が設定される。このように、使用者は、表示部２４０において表示される画面を介してパラメータを入力することにより、生成された画像処理アルゴリズムを評価するための基準を任意に変更することができる。入力されたデータは、図３に示したように、たとえば領域３１４，３１６等に格納される。
【００７３】
図６を参照して、欠陥の特徴量を抽出する処理について説明する。図６（Ａ）は、画像処理のアルゴリズムが適用される前における学習用の画像データを表わす図である。図６（Ｂ）は、その画像データに付与される領域を特定するための太線を表わす図である。その領域は、すなわち欠陥が抽出対象である真の欠陥であり、その欠陥の座標をその太枠によって表わすものである。領域６１０，６１２は、それぞれ当該欠陥が抽出対象物であることを表わす。欠陥６２０，６２２は、矩形の領域で囲まれていない。すなわち、欠陥６２０，６２２は、抽出の対象ではない非抽出対象物として識別される。これらの表示は、たとえば、使用者がコンピュータシステムのディスプレイに表示されている画像データに対してマウスその他の入力装置により抽出対象となる真の欠陥を矩形領域を用いて囲むことにより、上記の設定が可能である場合に実現される。
【００７４】
図６（Ｃ）は、画像処理のアルゴリズムの前処理を適用した後に生成されるデータを表わす。ここで前処理とは、たとえば画像データ中の対象物を強調するためのデータ変換処理を含む。図６（Ｄ）は、図６（Ｃ）に示されるような画像データに対して予め定められた閾値を用いて２値化処理を実行することにより欠陥の候補を抽出した場合の画像データを表わす。図６（Ｄ）においては、対象とされる真の欠陥２箇所に加えて、抽出の対象とされない擬似的な欠陥の候補が３つ抽出され、表示される。
【００７５】
図６（Ｅ）は、抽出された欠陥の候補に対応する矩形領域が設定された状態を表わす図である。ここで矩形の領域の大きさは、たとえば抽出された各欠陥の候補の水平方向の長さおよび垂直方向の長さに基づいて決定される。
【００７６】
図６（Ｆ）は、抽出された欠陥の分類後の表示の態様を表わす図である。すなわち各欠陥の候補は真の欠陥および擬似的な欠陥のいずれであるかがそれぞれ判断され、その判断結果に応じて各領域が表示される。たとえば太い実線で囲まれた２つの領域６１０，６１２に含まれる欠陥は、それぞれ真の欠陥である。また点線の領域に含まれる３つの欠陥６４０，６４２，６４４は、擬似的な欠陥である。
【００７７】
図６（Ｇ）は、抽出された真の欠陥と擬似的な欠陥とについて、それぞれの特徴量を特徴量空間にプロットした状態を表わす図である。特徴量空間を構成する特徴量として、たとえば第１の特徴量として濃度差により定義されたものが使用される。また第２の特徴量として抽出された欠陥の候補の面積に相当するものが用いられる。なお、特徴量は前述に示されるものに限られず、また特徴量を算出するための手続は、上述のものに限られない。また図６（Ｇ）に示される空間は、あくまで説明のためのものであって、画像処理装置１００は、必ずしもこのような表示を行なわなくてもよい。すなわち各欠陥の候補について、それぞれの欠陥の候補は抽出の対象物であるか否かと各欠陥の候補の特徴量とが関連付けられていればよい。
【００７８】
図７〜図９を参照して、本実施の形態に係る画像処理装置１００の制御構造について説明する。図７〜図９は、それぞれ画像処理装置１００が備える処理部２２０が実行する処理の手順を表わすフローチャートである。これらの処理は、たとえば処理部２２０がデータ記憶部３００に格納されているプログラムを実行した場合に実現される。あるいは、画像処理装置１００を実現する構成が各処理を実行する回路などによりハードウェア的に実現されている場合には、当該回路が画像処理装置１００を実現するための処理をそれぞれ実行する。
【００７９】
ステップＳ７１０にて、画像処理装置１００の処理部２２０は、使用者による開始の指示に基づいて初期の画像処理のアルゴリズムを生成する。ステップＳ７２０にて、処理部２２０は、入力部２１０を介して入力される画像データに基づいて、学習用の画像データをデータ記憶部３００の所定の領域に格納する。ここで、所定の領域とは、たとえばプログラムの実行に応じてメモリ空間として確保される領域をいう。学習用画像データは、検査対象物の表面に生じ得る欠陥の特徴を表わす欠陥情報も含む。欠陥情報は、たとえばキズの位置、形状、幅、長さあるいは深さ等を含む。
【００８０】
ステップＳ７３０にて、処理部２２０は、ステップＳ７１０にて生成されたアルゴリズムを画像データに対して適用することにより、画像処理を実行する。
【００８１】
ステップＳ８００にて、処理部２２０は、後述する特徴量抽出処理を実行する。この処理が実行されると、各欠陥の候補の特徴量がそれぞれ算出され、各候補が真の欠陥か擬似的な欠陥のいずれかに分類される。
【００８２】
ステップＳ９００にて、処理部２２０は、ＲＯＣ評価処理を実行する。この処理が実行されると、画像処理のために生成されたそれぞれのアルゴリズムについてＲＯＣ評価値が算出され、各アルゴリズムが予め定められた基準を上回るか否かなどの評価が行なわれる。
【００８３】
ステップＳ７６０にて、処理部２２０は、ステップＳ９００における結果に基づいて最良のアルゴリズムをデータ記憶部３００の所定の領域に格納する。ここで、「最良の」とは、現時点で評価値の値が最大であることをいう。
【００８４】
ステップＳ７７０にて、処理部２２０は、アルゴリズムの生成処理に関し予め定められた終了条件が成立しているか否かを判断する。処理部２２０が、その終了条件は成立していると判断すると（ステップＳ７７０にてＹＥＳ）、処理は終了する。そうでない場合には（ステップＳ７７０にてＮＯ）、処理はステップＳ７８０に移される。
【００８５】
ステップＳ７８０にて、処理部２２０は、ステップＳ７６０にて保存されているアルゴリズムに基づいて画像処理のためのアルゴリズムを生成する。具体的には、各画像処理アルゴリズムの評価値に基づいて、画像処理フィルタの組み合せが変更される。たとえば、当該組み合せに含まれるフィルタは、予め用意されている複数のフィルタの集合の中から、ランダムに抽出される他のフィルタに置き換えられる。ここで、「ランダムに抽出」とは、たとえば予め定められた乱数データに基づいて生成される乱数データに基づいて、当該集合の中からフィルタを選択することであるが、抽出の方法は、その他の態様であってもよい。
【００８６】
この場合、ある評価値に基づいて組み合せやパラメータ値を最適化する手法としては、たとえばＧＡ（Genetic  Algorithm、遺伝的アルゴリズム）、ＳＡ（Simulated  Annealing、シミュレーティッドアニーリング）等が適用可能であるが、その他の手法が用いられてもよい。いずれの手法も、評価値の高い組み合せやパラメータ値に対して、それらの組み合せや値をわずかに変更して、評価値のより高いものを探索する。その後、処理はステップＳ７３０に戻され、特徴量抽出処理（Ｓ８００）、ＲＯＣ評価処理（Ｓ９００）などが再び実行される。
【００８７】
ここで、画像処理の局面における遺伝的アルゴリズム（ＧＡ）について説明する。遺伝的アルゴリズムは、生物の進化の過程を真似ることによりソフトウェアの最適化を図るための手法である。すなわち、遺伝と自然淘汰とを繰り返すことにより、いわゆる「より優秀なアルゴリズム」すなわち、予め設定された目標値に近い結果を導出可能なアルゴリズムを導出しようとするものである。
【００８８】
より詳しくは、遺伝的アルゴリズムの実行時において、当初、異なった遺伝子を有する複数の集団が用意され、いわゆる「選択」、「交差」、「突然変異」の各処理が実行される。ここで、画像処理においては、当該画像処理を実行するために適用されるフィルタが、遺伝子に相当する。選択とは、当該集団の中から優秀な集団を選ぶことをいう。交差とは、選ばれた集団の中で、ランダムに遺伝子（フィルタ）の一部を交換することをいう。突然変異とは、交差よりも低い確率で行なわれる処理であり、一般には、遺伝子の一部が書き換えられることをいう。本実施の形態においては、選択および選択の概念が使用されている。
【００８９】
さらに具体的には、遺伝的アルゴリズムの基礎となるアルゴリズムが複数用意される。このアルゴリズムは、たとえば複数のフィルタを遺伝子として含む。各アルゴリズムについて、予め定められた画像データを用いた処理が実行される。この結果は、同一の画像データについて予め実行された処理の結果（目標値）と比較され、いわゆる適合度が計算される。各適合度が予め設定された条件を満足する場合、たとえば当該適合度が予め定められた評価基準を上回る場合、あるいは目標値との差異が予め設定された値以下である場合、そのような個体は、「優秀な」個体として選択される。次に、選択された個体により構成される集団において、ランダムに選択された遺伝子（画像処理におけるフィルタ）の交差が行なわれる。交差の後、前述の適合度が計算され、処理が繰り返される。このようにして、予め準備された初期の集団に対して自然淘汰と生殖活動とを実行させることにより、より優秀な遺伝子を有する個体が選択される。
【００９０】
図８を参照して、本実施の形態に係る画像処理装置１００の制御構造について、さらに説明する。図８は、処理部２２０が特徴量を抽出するために実行する処理の手順を表わすフローチャートである。
【００９１】
ステップＳ８１０にて、処理部２２０は、画像処理の実行後のデータに基づいて欠陥の候補を抽出する。欠陥の候補は、真の欠陥と擬似的な欠陥とのいずれをも含む。ステップＳ８２０にて、処理部２２０は、抽出されたそれぞれの欠陥の候補の特徴量を算出する。ステップＳ８３０にて、処理部２２０は、各欠陥の候補を真の欠陥と擬似的な欠陥とにそれぞれ分類する。この分類は、たとえばデータ記憶部３００に格納されている分類のための基準に基づいて行なわれる。ステップＳ８４０にて、処理部２２０は、分類結果に応じて特定される各欠陥の候補の情報をデータ記憶部３００の所定の領域に格納する。その後、処理はメイン処理に戻される。
【００９２】
図９は、ＲＯＣ評価処理の手順を表わすフローチャートである。
【００９３】
ステップＳ９０２にて、処理部２２０は、入力部２１０を介して入力されるデータに基づいて識別器の設定の入力を受ける。ここで識別器とは、抽出された欠陥の候補を真の欠陥と擬似的な欠陥とに分類するために用いられる関数を表わすためのデータをいう。この関数は、たとえば線形の関数であるが、非線形の関数であってもよい。識別器は、最初に使用されるものがデフォルト設定されており、さらに変更も可能である。たとえば、ＲＯＣ評価が不可能であると判断された場合に、識別器を変更することができる。この変更は、たとえば識別器を構成する関数のパラメータの変更により実現される。識別器が「ｙ＝ａｘ２」である場合、「ａ」の値を変更することにより、識別器は変更されることになる。また、データ記憶部３００が複数の識別器を予め格納している場合、ＲＯＣ評価の結果に応じて、再評価のための識別器が選択され、処理部２２０がその選択された識別器の入力を受けるようにしてもよい。あるいは、処理部２２０が、ＲＯＣ評価の結果に基づいて識別器を生成する処理を実行し、新たに生成された識別器をＲＯＣ評価を再度実行するために使用してもよい。
【００９４】
ステップＳ９０４にて、処理部２２０は、予め定められたＲＯＣ評価処理の終了条件が成立しているか否かを判断する。処理部２２０が、その条件は成立していると判断すると（ステップＳ９０４にてＹＥＳ）、処理はステップＳ９３０に移される。そうでない場合には（ステップＳ９０４にてＮＯ）、処理はステップＳ９０６に移される。
【００９５】
ステップＳ９０６にて、処理部２２０は、ＲＯＣ評価が可能であるか否かを判断する。この判断は、前述の欠陥候補の分類結果に基づいて行なわれる。処理部２２０が、ＲＯＣ評価は可能であると判断すると（ステップＳ９０６にてＹＥＳ）、処理はステップＳ９０８に移される。そうでない場合には（ステップＳ９０６にてＮＯ）、処理はステップＳ９０２に戻される。
【００９６】
ステップＳ９０８にて、処理部２２０は、ＲＯＣプロットデータを作成する。ステップＳ９１０にて、処理部２２０は、そのデータに基づいてＲＯＣ評価値を算出する。ステップＳ９１２にて、処理部２２０は、その評価値に基づいて欠陥の候補が完全に分離されたか否かを判断する。ここで、「分離」とは、真の欠陥と擬似的な欠陥とが明確に識別されている状態にあることをいう。「完全」とは、真の欠陥に分類されたものがすべて欠陥であり、擬似的な欠陥に分類されたものが欠陥ではない状態をいう。処理部２２０が、欠陥の候補は完全に分離されていると判断すると（ステップＳ９１２にてＹＥＳ）、処理はステップＳ９１４に移される。そうでない場合には（ステップＳ９１２にてＮＯ）、処理はステップＳ９２０に移される。
【００９７】
ステップＳ９１４にて、処理部２２０は、分離マージン評価値を算出する。ここで分離マージン評価値とは、真の欠陥の分布と擬似的な欠陥の分布との差を表わすためのデータをいう。なお、ステップＳ９１２における判断処理において、予め設定されている許容誤検出率（図３における領域３１８）を加味した処理を実行してもよい。たとえば、誤検出率が許容誤検出率を下回る場合（すなわち、検出結果が許容範囲内である場合）に、欠陥の候補が完全に分離されたと判断してもよい。この場合、擬似的な欠陥は、真の欠陥として分類される。このようにすると、使用者による誤った欠陥の指定を防止することができる。ステップＳ９１６にて、処理部２２０は、その分離マージン評価値をデータ記憶部３００の所定の領域に格納する。
【００９８】
ステップＳ９２０にて、処理部２２０は、最良のＲＯＣ評価値をデータ記憶部３００の所定の領域に格納する。このとき、処理部２２０は、予め準備された複数のペナルティ値において２番目に大きなペナルティ値を当該評価値に関連付けて、データ記憶部３００に格納する。ここで、ペナルティ値とは、前記評価値の優劣を表わすために予め定められた複数のデータをいう。これらのデータを比較することにより、当該データが関連付けられている評価値が他の評価値に対して優れた結果を表わすものか否かの判断が容易になる。
【００９９】
ステップＳ９３０にて、処理部２２０は、画像処理のアルゴリズムの評価値をデータ記憶部３００の所定の領域に格納する。処理部２２０は、予め準備された複数のペナルティ値において最も大きなペナルティ値を当該評価値に関連付けて、データ記憶部３００に格納する。
【０１００】
図１０を参照して、画像処理装置１００が使用する識別器について説明する。図１０は、特徴量の空間に表現されている真の欠陥と擬似的な欠陥との分布を識別器により分離している状態を概念的に表わす図である。
【０１０１】
前述の抽出処理により抽出された欠陥の候補は、予め定められた評価基準を満たすか否かにより、それぞれ真の欠陥と擬似的な欠陥とに分離することができる。図１０に示される例では、真の欠陥の分布１０１０と擬似的な欠陥の分布１０２０とが存在する場合において、３種類の識別器１０３０，１０４０，１０５０がそれぞれ適用可能であることを表わしている。なお識別器は、図１０に示されるように線形の関係を有するものに限られず、非線形の関係を表わすものであってもよい。すなわち特徴量空間上に表現される場合には、識別の形状は本実施の形態によれば直線として表現されているが、曲線として表現される識別器が用いられてもよい。
【０１０２】
図１１を参照して、画像処理装置１００におけるＲＯＣ評価の可否について説明する。図１１は、識別器の取り得る座標軸上に対して擬似的な欠陥を表わす分布１１２０と真の欠陥の分布１１１０とをそれぞれ射影したものである。
【０１０３】
処理部２２０は、真の欠陥および擬似的な欠陥の特徴量の分布をそれぞれ参照することにより、ＲＯＣ評価が可能であるか否かを判断する。ここでＲＯＣ評価が可能である場合は、たとえば以下の場合である。
【０１０４】
すなわち、第１に、真の欠陥のみが検出されて、検出された真の欠陥の数と予め設定された検出対象物の数Ｎとが等しい場合である。第２に、真の欠陥および擬似的な欠陥がそれぞれ検出され、算式「Ｘ（３）＜Ｙ（３）」かつ「Ｘ（１）＜Ｙ（１）」の関係を満足する場合である。ここで、図１１において、Ｘ（１）は、擬似的な欠陥の特徴量の最小値であり、Ｘ（２）は、擬似的な欠陥の分布の中心値であり、Ｘ（３）は、擬似的な欠陥の特徴量の最大値である。また、Ｙ（１）は、真の欠陥の分布１１１０の特徴量の最小値であり、Ｙ（２）は、真の欠陥の分布の中心値であり、Ｙ（３）は、真の欠陥の特徴量の最大値である。
【０１０５】
図１２を参照して、画像処理装置１００によるＲＯＣデータの作成について説明する。図１２は、真の欠陥の分布１１１０と擬似的な欠陥の分布１１２０とをそれぞれ識別器の座標軸上に射影した状態を表わす図である。この図は、上述のステップＳ９０８における処理により生成されるデータに基づく。すなわち、Ｓ９０２において設定された識別器を変化させることにより、その際に得られる誤検出率と未検出率が、ＲＯＣデータとして用いられる。
【０１０６】
ここで、誤検出率Ａは、算式「Ａ＝ｍ／（ｍ＋Ｎ）」により得られる。ｍは、検出された擬似的な欠陥の数を表わす。ｎは、検出された真の欠陥の数を表わす。Ｎは、予め設定された抽出対象物の数を表わす。また、未検出率Ｂは、算式「Ｂ＝（Ｎ−ｎ）／Ｎ」により得られる。誤検出率および未検出率は、いずれも０から１までの間の値をとり得る。
【０１０７】
なお、誤検出率は、上述のようにして定義される評価基準でなくてもよい。たとえば、誤検出率Ａ＝ｍ／Ｎであってもよい。
【０１０８】
範囲１２１０は、識別器が取り得る値を定める。すなわち範囲１２１０は、擬似的な欠陥の分布１１２０における特徴量の最小値Ｘ（１）と、真の欠陥の分布１１１０における特徴量の最大値Ｙ（３）との間である。
【０１０９】
図１３を参照して、画像処理装置１００におけるＲＯＣ評価値の算出について説明する。図１３は、未検出率と誤検出率とにより導出されるＲＯＣ曲線を表わした図である。この図は、ステップＳ９１０における処理を説明するための図である。
【０１１０】
ＲＯＣ評価値としては、たとえばＲＯＣ曲線により囲まれた領域１３００の面積等が用いられる。本実施の形態においては、ＲＯＣ評価値を算出する算式として、たとえば次式が用いられて、評価が行なわれる。
【０１１１】
【数１】
2006260410.tif 000003
【０１１２】
この場合、誤検出率に対する重み係数αと未検出率に対する重み係数βとは、それぞれ入力部２１０を介して使用者が自由に設定可能である。評価値Ｆについては、その取り得る値の範囲がたとえば０から１までである。この場合、Ｆ＝０のとき、画像処理アルゴリズムは、最良の結果を導出し得るものとなる。また、Ｆ＝１のとき、画像処理アルゴリズムは、最も好ましくない結果を導出し得るものとなる。このように、画像処理装置１００の使用者は、画像処理装置１００の学習の前に重みを設定することにより、使用態様に応じた画像処理アルゴリズムを生成するように、画像処理装置１００の動作を制御することができる。
【０１１３】
図１４を参照して、画像処理装置１００における分離マージン評価値の算出について説明する。図１４は、識別器の座標軸上に真の欠陥の分布１１１０と擬似的な欠陥の分布１１２０とをそれぞれ表わした図である。
【０１１４】
ステップＳ９１０における処理が実行された場合において、欠陥の候補が完全に分離された時、誤検出率Ａ＝０であり、また未検出率Ｂ＝０である。したがって、評価値Ｆの値は、０となる。すなわち、真の欠陥と擬似的な欠陥とが、正確に分離されている状態である。
【０１１５】
このような場合において、分離マージン１４００は、真の欠陥の分布１１１０の特徴量の最小値と擬似的な欠陥の分布１１２０の特徴量の最大値との差として表わされる。このとき、分離マージンを評価するための分離マージン評価値Ｍは、算式「Ｍ＝１／分離マージン」により導出される。処理部２２０は、算出された評価値と、その評価値の基礎となった画像処理アルゴリズムとを関連付けて、データ記憶部３００の所定の領域に格納する。これにより、画像処理アルゴリズムごとの評価値に基づいて、使用態様に応じたあるいは処理条件を満足するアルゴリズムを検索することが可能になる。
【０１１６】
以上のようにして、本発明の実施の形態に係る画像処理装置１００は、最初に作成された画像処理アルゴリズムに基づいて、特徴量を抽出する処理を実行し、ＲＯＣに基づく評価処理をさらに実行する。そのアルゴリズムが予め設定された評価基準を上回らない場合には、現時点で最良のアルゴリズムに基づいて新たなアルゴリズムが作成される。そして、前述の処理が繰り返される。これらの処理は、当該評価基準を上回るようなアルゴリズムが生成されるまで、実行される。
【０１１７】
このようにすると、アルゴリズムの品質を定量的に評価することができる。したがって、欠陥の候補を真の欠陥と擬似的な欠陥とに分離することが困難な画像に対しても、未検出率または誤検出率が向上するようなロバストなアルゴリズムを生成することができる。さらに、ＲＯＣ評価において、未検出率および誤検出率に対する重み付けを行なうことにより、画像処理の態様に応じた評価基準を設定することができる。したがって、画像処理に基づく外観検査をより正確に実現することができる。
【０１１８】
本発明の実施の形態に係る画像評価装置および画像生成装置は、上述のように画像処理装置１００により実現される。画像処理装置１００は、ハードウェア的に実現される場合もあれば、コンピュータシステムにおいてソフトウェア的に実現される場合もある。
【０１１９】
ここで図１５を参照して、本実施の形態に係る画像処理装置１００を実現するコンピュータシステム１５００について説明する。図１５は、コンピュータシステム１５００のハードウェア構成を表わすブロック図である。
【０１２０】
コンピュータシステム１５００は、相互にデータバスによって接続されたＣＰＵ１５１０と、外部からデータの入力を受けるためのマウス１５２０およびキーボード１５３０と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを揮発的に格納するＲＡＭ１５４０と、大容量のデータを不揮発的に格納可能なハードディスク１５５０と、ＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）駆動装置１５６０と、モニタ１５８０と、通信ＩＦ（Interface）１５９０とを含む。ＣＤ−ＲＯＭ駆動装置１５６０には、ＣＤ−ＲＯＭ１５６２が装着される。
【０１２１】
外観検査装置１００として機能するコンピュータシステム１５００における処理は、各ハードウェアおよびＣＰＵ１５１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク１５５０に予め記憶されている場合もあれば、ＣＤ−ＲＯＭ１５６２その他の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ駆動装置１６０その他の読み取り装置によりその記憶媒体から読み取られて、ハードディスク１５５０に一旦格納される場合もある。あるいは通信回線に接続された通信ＩＦ１５９０を介して、そのソフトウェアがダウンロードされる場合もある。そのソフトウェアは、ハードディスク１５５０からＲＡＭ１５４０に読み出されて、ＣＰＵ１５１０によって実行される。図１５に示されるコンピュータシステム１５００のハードウェア自体は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５４０、ハードディスク１５５０、ＣＤ−ＲＯＭ１５６２その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム１５００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【０１２２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施の形態に係る検査システム１０の構成を表わすブロック図である。
【図２】本発明の実施の形態に係る画像処理装置１００のハードウェア構成を表わすブロック図である。
【図３】画像処理装置１００が備えるデータ記憶部３００におけるデータの格納の一態様を表わす図（その１）である。
【図４】画像処理装置１００が備えるデータ記憶部３００におけるデータの格納の一態様を表わす図（その２）である。
【図５】画像処理装置１００が備える表示部２４０における入力画面の一態様を表わす図である。
【図６】本発明の実施の形態に係る画像処理装置１００における欠陥の特徴量を抽出する処理を説明するための図である。
【図７】本発明の実施の形態に係る画像処理装置１００の処理部２２０が実行する処理の手順を表わすフローチャート（その１）である。
【図８】本発明の実施の形態に係る画像処理装置１００の処理部２２０が実行する処理の手順を表わすフローチャート（その２）である。
【図９】本発明の実施の形態に係る画像処理装置１００の処理部２２０が実行する処理の手順を表わすフローチャート（その３）である。
【図１０】特徴量の空間に表現されている真の欠陥と擬似的な欠陥との分布を識別器により分離している状態を概念的に表わす図である。
【図１１】識別器の取り得る座標軸上に対して擬似的な欠陥を表わす分布１５２０と真の欠陥の分布１１１０とをそれぞれ射影した状態を表わす図である。
【図１２】真の欠陥の分布１１１０と擬似的な欠陥の分布１５２０とをそれぞれ識別器の座標軸上に射影した状態を表わす図である。
【図１３】未検出率と誤検出率とにより導出されるＲＯＣ曲線を表わした図である。
【図１４】識別器の座標軸上に真の欠陥の分布１１１０と擬似的な欠陥の分布１５２０とをそれぞれ表わした図である。
【図１５】画像処理装置１００を実現するコンピュータシステム１５００のハードウェア構成を表わすブロック図である。
【符号の説明】
【０１２４】
１０  検査システム、１００  画像処理装置、１１１  ステージ、１１２  検査対象物、１１３  ライト、１１４  ＣＣＤカメラ、１１５  コントローラ、２１０  入力部、２２０  処理部、２２２  設定部、２２４  生成部、２２６  評価部、２２８  判断部、２４０  表示部、３００  データ記憶部、１５００  コンピュータシステム、１５１０  ＣＰＵ、１５２０  マウス、１５３０  キーボード、１５４０  ＲＡＭ、１５５０  ハードディスク、１５６０  ＣＤ-ＲＯＭ駆動装置、１５６２  ＣＤ-ＲＯＭ、１５９０  通信ＩＦ、１５８０  モニタ。
【図１】
2006260410.tif 000004
【図２】
2006260410.tif 000005
【図３】
2006260410.tif 000006
【図４】
2006260410.tif 000007
【図５】
2006260410.tif 000008
【図６】
2006260410.tif 000009
【図７】
2006260410.tif 000010
【図８】
2006260410.tif 000011
【図９】
2006260410.tif 000012
【図１０】
2006260410.tif 000013
【図１１】
2006260410.tif 000014
【図１２】
2006260410.tif 000015
【図１３】
2006260410.tif 000016
【図１４】
2006260410.tif 000017
【図１５】
2006260410.tif 000018