(57)【要約】【課題】画像に基づいて精度よく異常判定を行う異常判定方法を提供する。【解決手段】複数の第一の画像に基づいて学習を行い、前記学習の結果に基づいて、第二の画像に含まれる異常を判定する異常判定方法。画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一ステップと、前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二ステップと、からなる特徴量取得ステップと、前記特徴量取得ステップによって、第一の画像に含まれる画素に対応する特徴量を取得し、識別器を学習させる学習ステップと、前記特徴量取得ステップによって、第二の画像に含まれる画素に対応する特徴量を取得し、前記学習された識別器によって異常判定を行う判定ステップと、を含む。【選択図】図１
2020071716.tif 000002
【特許請求の範囲】
【請求項１】
複数の第一の画像に基づいて学習を行い、前記学習の結果に基づいて、第二の画像に含まれる異常を判定する異常判定方法であって、
画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一ステップと、
前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二ステップと、
からなる特徴量取得ステップと、
前記特徴量取得ステップによって、第一の画像に含まれる画素に対応する特徴量を取得し、識別器を学習させる学習ステップと、
前記特徴量取得ステップによって、第二の画像に含まれる画素に対応する特徴量を取得し、前記学習された識別器によって異常判定を行う判定ステップと、
を含む、異常判定方法。
【請求項２】
前記第一ステップでは、前記第一の領域および前記第二の領域に含まれる部分画像同士の非類似度を算出する、
請求項１に記載の異常判定方法。
【請求項３】
前記非類似度は、前記部分画像に対応する特徴量同士の統計的分布の相違を表す値である、
請求項２に記載の異常判定方法。
【請求項４】
前記第二ステップでは、前記複数個の非類似度をそれぞれ要素に持つベクトルを前記特徴量として取得する、
請求項１から３のいずれかに記載の異常判定方法。
【請求項５】
前記判定ステップでは、前記第二の画像に含まれる画素ごとに異常値を算出する、
請求項１から４のいずれかに記載の異常判定方法。
【請求項６】
入力された画像から特徴量を算出する特徴量算出方法であって、
前記画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一ステップと、
前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二ステップと、を含み、
前記第一ステップおよび前記第二ステップを反復し、前記画像に含まれる全ての画素について特徴量を取得する、
特徴量算出方法。
【請求項７】
対象物を撮像して得られた複数の第一の画像に基づいて学習を行い、前記学習の結果に基づいて、第二の画像に含まれる対象物の外観上の異常を判定する外観検査装置であって、
画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一のステップと、
前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二のステップと、
を実行する特徴量取得手段と、
前記特徴量取得手段によって、第一の画像に含まれる画素に対応する特徴量を取得し、識別器を学習させる学習手段と、
前記特徴量取得手段によって、第二の画像に含まれる画素に対応する特徴量を取得し、前記学習された識別器によって異常判定を行う判定手段と、
を含む、外観検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に基づいた異常判定技術に関する。
【背景技術】
【０００２】
画像に基づいた外観検査手法として、たとえば、非特許文献１に記載されたような方法が提案されている。非特許文献１に記載の方法では、まず、あらかじめ正常な（外観に異常のない）対象物が含まれた画像をＭ枚入力し、その各々から特徴ベクトルｆtrを抽出する。同様に、外観に異常があるかどうかが不明な評価対象物が含まれた画像をＮ枚入力し、その各々から特徴ベクトルｆteを抽出する。そして、それぞれ抽出したＭ個の特徴ベクトルｆtrに対する確率密度ｐ(ｆtr)と、Ｎ個の特徴ベクトルｆteに対する確率密度ｐ(ｆte)との確率密度比ｐ(ｆtr)／ｐ(ｆte)を推定し、その推定結果に基づいて、評価対象物に対する異常度Ｓを算出する。そして、当該異常度Ｓと閾値とを比較した結果に基づいて、評価対象物の外観に異常がないかどうかの判定を行う。
【０００３】
また、画像に基づいた外観検査手法として、たとえば、非特許文献２に記載されたような手法が提案されている。非特許文献２に記載の方法では、まず、画像中に中心視領域Ｃを設定し、中心視領域Ｃから低次特徴量ｆcを抽出する。また、画像中に中心視領域Ｃを
包含するように（あるいは、中心視領域Ｃに隣接した）周辺視領域Ｓを設定し、周辺視領域Ｓから低次特徴量ｆsを抽出する。さらに、低次特徴量ｆcと低次特徴量ｆsとの相違（
視覚的顕著度）を算出し、適切な閾値Ｔと比較することで、画像中で異常がある箇所を特定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０４９９７４号公報
【特許文献２】特開２０１２−１２３６３１号公報
【非特許文献】
【０００５】
【非特許文献１】Takimoto, M., Matsugu, M., & Sugiyama, M. Visual inspection of precision instruments by least-squares outlier detection. In Proceedings of The Fourth International Workshop on Data-Mining and Statistical Science (DMSS2009), pp.22-26, Kyoto, Japan, Jul. 7-8, 2009.
【非特許文献２】長嶋千恵・青木公也・塚田敏彦・三和田靖彦・輿水大和，”内視鏡型センシングと気付きアルゴリズムによる自動車部品検査方式”，精密工学会，ビジョン技術の実利用ワークショップ(ViEW2014)(2014-12)，横浜
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１に記載の技術では、サンプルとなる画像の枚数が十分に無い場合（たとえば、１枚しか無いような場合）において、異常度Ｓを精度良く算出することができないという問題がある。
また、非特許文献２のような、人間の初期視覚特性である、中心視領域Ｃと周辺視領域Ｓの相違（視覚的顕著度）に基づくアプローチでは、視覚的に顕著であることが正常であるような場合や、逆に、視覚的に顕著でないことが異常である場合において、異常個所の特定が困難となるケースが発生する。
【０００７】
本発明は上記の問題点を考慮してなされたものであり、画像に基づいて精度よく異常判
定を行う異常判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る異常判定方法は、
複数の第一の画像に基づいて学習を行い、前記学習の結果に基づいて、第二の画像に含まれる異常を判定する異常判定方法であって、画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一ステップと、前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二ステップと、からなる特徴量取得ステップと、前記特徴量取得ステップによって、第一の画像に含まれる画素に対応する特徴量を取得し、識別器を学習させる学習ステップと、前記特徴量取得ステップによって、第二の画像に含まれる画素に対応する特徴量を取得し、前記学習された識別器によって異常判定を行う判定ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係る特徴量算出方法は、
入力された画像から特徴量を算出する特徴量算出方法であって、前記画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一ステップと、前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二ステップと、を含み、前記第一ステップおよび前記第二ステップを反復し、前記画像に含まれる全ての画素について特徴量を取得することを特徴とする。
【００１０】
また、本発明に係る外観検査装置は、
対象物を撮像して得られた複数の第一の画像に基づいて学習を行い、前記学習の結果に基づいて、第二の画像に含まれる対象物の外観上の異常を判定する外観検査装置であって、画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求める第一のステップと、前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する第二のステップと、を実行する特徴量取得手段と、前記特徴量取得手段によって、第一の画像に含まれる画素に対応する特徴量を取得し、識別器を学習させる学習手段と、前記特徴量取得手段によって、第二の画像に含まれる画素に対応する特徴量を取得し、前記学習された識別器によって異常判定を行う判定手段と、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像に基づいて精度よく異常判定を行う異常判定方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第一の実施形態に係る外観検査装置の機能構成図。
【図２】外観検査装置に入力される画像を説明する図。
【図３】局所領域ＡおよびＢの設定方法を説明する図。
【図４】第一の実施形態に係る外観検査装置が行う処理のフローチャート。
【図５】第一の実施形態に係る外観検査装置が行う処理のフローチャート。
【図６】局所領域が画像端にある場合の処理方法を説明する図。
【図７】局所領域Ｂの設定方法を説明する図。
【図８】学習に用いられる確率密度関数を説明する図。
【図９】局所領域の設定における変形例を説明する図。
【図１０】第二の実施形態に係る外観検査装置が行う処理のフローチャート。
【図１１】異常値を視覚的に表示する画面の例。
【発明を実施するための形態】
【００１３】
実施形態に係る外観検査装置は、検査対象物を撮像して得られた画像に基づいて、当該検査対象物の外観に異常があるか否かを判定する装置である。具体的には、正常な外観を有する対象物を撮像して得られた画像（第一の画像）を用いて機械学習を行い、学習の結果を用いて、外観に異常があるか否かが未知である対象物を撮像して得られた画像（第二の画像）を評価する。
【００１４】
具体的には、画像中に設定された第一の領域と、前記第一の領域とは異なる位置に設定された第二の領域との間の非類似度を、前記第二の領域の位置を変更しながら複数個求め（第一ステップ）、前記複数個の非類似度を統合して、前記第一の領域を代表する画素に対応する特徴量を取得する（第二ステップ）。そして、取得した特徴量を用いて機械学習および異常判定を行う。
【００１５】
かかる構成によると、対象の画像について、ある領域（第一の領域）と、複数の他の領域（第二の領域）との非類似度（例えば、特徴量同士の距離）を網羅的に学習するため、少ない学習サンプル数で相対的に多くの学習データを得ることができる。
【００１６】
また、前記第一ステップでは、前記第一の領域および前記第二の領域に含まれる部分画像同士の非類似度を算出することを特徴としてもよい。
部分画像同士の非類似度を求めるための指標として、例えば、輝度、エッジの強度、テクスチャなどを利用することができる。
【００１７】
また、前記非類似度は、前記部分画像に対応する特徴量同士の統計的分布の相違を表す値であることを特徴としてもよい。
例えば、輝度、エッジの強度、テクスチャなどに対応する特徴量を部分画像ごとに算出し、その統計的分布の相違を算出する。統計的分布の相違として、例えば、それぞれの特徴量に対応する確率密度同士がどれほど相違するかを表す値を利用することができる。
【００１８】
また、前記第二ステップでは、前記複数個の非類似度をそれぞれ要素に持つベクトルを前記特徴量として取得することを特徴としてもよい。
【００１９】
また、前記判定ステップでは、前記第二の画像に含まれる画素ごとに異常値を算出することを特徴としてもよい。画素ごとに学習および評価を行うことで、第二の画像に異常が含まれていることに加え、異常がどの座標において観測されたかを特定することが可能になる。
【００２０】
以下、本発明の具体的な実施形態について図面に基づいて説明する。各実施形態に記載されているハードウェア構成、モジュール構成、機能構成等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２１】
（第一の実施形態）
第一の実施形態に関して、図面を参照して説明する。図１は、第一の実施形態に係る外観検査装置１０の機能構成を示すブロック図である。
本実施形態に係る外観検査装置１０は、入力された画像に基づいて、当該画像に含まれる物体の外観に対する異常の度合いを判定し、当該異常の度合いを出力する装置である。
【００２２】
外観検査装置１０は、識別器を有しており、当該識別器を学習させる学習モードと、学習の結果に基づいて評価を行う評価モードに切り替え可能に構成される。以降の説明において、識別器を学習させる処理を学習処理と称し、学習した識別器を用いて異常の有無を
評価する処理を評価処理と称する。また、学習に用いる画像を学習用画像と称し、評価に用いる画像を評価用画像と称する。学習用画像は、外観に異常のない物体の外観を含んだ画像であり、評価用画像は、検査の対象である物体（外観に異常があるかが未知である物体）の外観を含んだ画像である。以下、学習および評価の対象である物体を対象物と称する。
【００２３】
本実施形態に係る外観検査装置１０は、半導体集積回路（ＬＳＩ）を用いて実現できる。外観検査装置１０は、画像入力部１１、特徴量算出部１２、識別部１３を有して構成される。また、特徴量算出部１２は、領域設定部１２１、低次特徴量算出部１２２、非類似度算出部１２３、特徴量マップ生成部１２４を有して構成される。これらの構成要素はソフトウェアモジュールによって実現され、外観検査装置１０が果たす機能にそれぞれ対応している。
【００２４】
画像入力部１１は、対象物が含まれた画像を取得し、特徴量算出部１２へ出力する手段である。図２は、取得される画像の例である。本実施形態では、水平方向のサイズがＨ、垂直方向のサイズがＶである画像を取得するものとする。
【００２５】
特徴量算出部１２は、画像入力部１１が取得した画像について、画像空間上の点（ｘ，ｙ）における特徴量ｆ（ｘ，ｙ）を算出する手段である。以下、特徴量算出部１２に含まれる各機能モジュールについて説明する。
領域設定部１２１は、特徴量を算出するための局所領域を画像空間上に設定する。例えば、図３に示したように、画像空間上の２点（ｘa，ｙa）および（ｘb，ｙb）を中心とし、一辺の長さがＬの正方領域である局所領域Ａおよび局所領域Ｂを設定する。局所領域Ａおよび局所領域Ｂを設定すべき座標については後述する。
【００２６】
低次特徴量算出部１２２は、領域設定部１２１で設定した二つの局所領域のそれぞれについて、輝度、エッジ強度、テクスチャといった特徴量（以下、低次特徴量）を算出する。ここで、局所領域の一辺の長さがＬである場合、Ｎ（＝Ｌ2）個の低次特徴量が得られ
る。低次特徴量としてエッジ強度を求める場合、例えば、古典的な画像処理手法の一種であるSobelフィルタ、Laplacianフィルタ、Cannyフィルタなどを用いることができる。ま
た、低次特徴量としてテクスチャを求める場合、例えば、古典的な画像処理手法の一種であるLBP（Local Binary Patterns）を用いることができる。
【００２７】
非類似度算出部１２３は、低次特徴量算出部１２２が算出した、（１）局所領域ＡにおけるＮ個の低次特徴量と、（２）局所領域ＢにおけるＮ個の低次特徴量と、の相違の度合い（非類似度）を算出する。具体的には、複数組の低次特徴量間における統計的分布の相違Ｄ（Ａ，Ｂ）を算出する。統計的分布の相違Ｄは、複数組の低次特徴量に対応する確率密度同士の非類似度を表す値であって、例えば、既知の密度比推定法、相対密度比推定法、または、密度差推定法などを用いて算出することができる。ここで算出するＤは、低次特徴量間の距離であり、非類似度（ダイバージェンス）を表す値である。
なお、ここでは確率密度同士の非類似度を算出する例を挙げたが、局所領域に含まれる部分画像同士の非類似度を算出することができれば、必ずしも確率密度を用いなくてもよい。
【００２８】
特徴量マップ生成部１２４は、領域設定部１２１、低次特徴量算出部１２２、非類似度算出部１２３が生成した情報に基づいて、画像空間上の各点（ｘ，ｙ）に対応する特徴量ｆ（ｘ，ｙ）を算出する。具体的な処理方法については、フローチャートを参照しながら後述する。
【００２９】
識別部１３は、識別器を有して構成され、学習用の特徴量に基づいて識別器を学習させ
る処理と、学習済みの識別器を用いて評価用の特徴量を評価する処理を行う。具体的な処理内容については後述する。
【００３０】
次に、外観検査装置１０が行う学習処理について説明する。図４は、複数の画像を用いて識別部１３を学習させる処理の流れを示すフローチャートである。
識別部１３の学習は、一枚以上の学習用画像を用いて行われる。学習用画像は、外観に異常の無い対象物を撮像して得られた画像である。ここでは、外観に異常の無い対象物を撮像して得られた画像をＭ枚用意し、学習を行うものとする。
【００３１】
まず、ステップＳ１１において、画像の入力インターフェースである画像入力部１１が、対象物が含まれる画像を取得する。対象物とは、検査を行う対象の物体であり、例えば、製造ラインにおいて製造された部品などであるが、これに限られない。本ステップでは、異常の無い対象物を撮像して得られた画像が、学習用画像として取得される。
画像入力部１１は、外観検査装置１０に接続されたカメラや、記憶装置、ネットワーク等を介して学習用画像を取得する。例えば、製造された部品を検査対象として処理を行う場合、製造ライン（検査ライン）に設置されたカメラから画像を取得してもよい。なお、本実施形態では、画像入力部１１が可視光画像を取得しているが、赤外画像を取得してもよい。
【００３２】
前述したように、画像入力部１１は、対象物が含まれた画像を取得し、特徴量算出部１２へ出力する。ここでは、水平方向サイズがＨ、垂直方向サイズがＶである画像を取得するものとする。
【００３３】
次に、ステップＳ１２で、特徴量算出部１２が、入力された画像の、画像空間上の全ての点（ｘ，ｙ）に対して特徴量ｆ（ｘ，ｙ）を算出する。
ステップＳ１２で行う処理の詳細を図５に示す。図５に示した処理は、画像空間上の全ての点（ｘ，ｙ）について特徴量の算出処理が行われるまで繰り返し実行される。
【００３４】
まず、ステップＳ１２１で、局所領域Ａの中心座標（ｘa，ｙa）を原点（０，０）に設定する。ここで設定される座標が、特徴量を求める画素の座標に対応する。なお、以降の説明において、局所領域の座標（位置）とは、局所領域の中心座標（中心位置）を指す。
次に、ステップＳ１２２で、局所領域Ｂの位置を、局所領域Ａとは異なる位置に設定し、局所領域Ａと局所領域Ｂとの統計的分布の相違Ｄを算出する。
【００３５】
なお、画像空間上の二点（ｘa，ｙa）と（ｘb，ｙb）のいずれかが画像の端に位置する場合、図６に示したように、画像の端を２／Ｌだけ折り返す処理をしたうえで処理を進めるようにしてもよい。
【００３６】
統計的分布の相違Ｄは、前述したように、局所領域ＡにおけるＮ個の低次特徴量と、局所領域ＢにおけるＮ個の低次特徴量と、の相違の度合いである。
本ステップでは、局所領域Ｂを移動させながら、統計的分布の相違Ｄｉ（Ａ，Ｂ）を複数個算出する。本実施形態では、画像のサイズがＨ×Ｖであるため、ｉの値はＨ×Ｖとなる。
【００３７】
例えば、局所領域Ｂを横方向に移動させる場合、以下のような処理を繰り返す。
・局所領域Ｂを（ｘb，ｙb）＝（ｘa＋１，ｙa）に設定し、統計的分布の相違Ｄ1（Ａ，
Ｂ）を算出する
・局所領域Ｂを（ｘb，ｙb）＝（ｘa＋２，ｙa）に設定し、統計的分布の相違Ｄ2（Ａ，
Ｂ）を算出する
…
【００３８】
なお、ｘbがＨ−１まで到達したら、ｙbをインクリメントし、ｘbを０に戻して同様に
処理を続ける。これにより、局所領域Ｂは図７のように移動する。なお、（ｘb，ｙb）が（Ｈ−１，Ｖ−１）に達し、統計的分布の相違Ｄｉ（Ａ，Ｂ）が全て算出された段階でステップＳ１２２の処理は終了する。
【００３９】
そして、ステップＳ１２３で、得られた統計的分布の相違Ｄｉ（Ａ，Ｂ）の合計値［ΣＤｉ（Ａ，Ｂ）］を算出し、座標（ｘa，ｙa）＝（０，０）に対応する特徴量ｆ（ｘa，
ｙa）とする。なお、本例では局所領域Ｂを横方向に順次移動させる例を挙げたが、局所
領域Ｂの移動方法はこれに限られない。
【００４０】
ステップＳ１２１〜Ｓ１２３の処理は、画像空間に含まれる全ての座標について特徴量が算出されるまで反復して実行される。上述した例では、例えば、局所領域Ａの座標（ｘa，ｙa）を（１，０）に設定し、以下のような処理を繰り返す。
・局所領域Ｂを（ｘb，ｙb）＝（ｘa−１，ｙa）に設定し、統計的分布の相違Ｄ1（Ａ，
Ｂ）を算出する
・局所領域Ｂを（ｘb，ｙb）＝（ｘa＋１，ｙa）に設定し、統計的分布の相違Ｄ2（Ａ，
Ｂ）を算出する
…
・局所領域Ｂを（ｘb，ｙb）＝（Ｈ−１，Ｖ−１）に設定し、統計的分布の相違Ｄｉ（Ａ，Ｂ）を算出する
そして、得られた統計的分布の相違Ｄｉ（Ａ，Ｂ）の合計値［ΣＤｉ（Ａ，Ｂ，）］を算出し、座標（ｘa，ｙa）＝（１，０）に対応する特徴量ｆ（ｘa，ｙa）とする。
【００４１】
前述した処理を行うことで、局所領域Ａの座標（ｘa，ｙa）を、（０，０）から（Ｈ−１，Ｖ−１）まで変化させながら、Ｈ×Ｖ個の特徴量を取得することができる。すなわち、画像空間上における全ての点（ｘ，ｙ）における特徴量ｆ（ｘ，ｙ）を算出することができる。
【００４２】
図４に戻り、説明を続ける。
ステップＳ１１およびＳ１２の処理は、学習に用いる全ての画像について反復して実行される。すなわち、学習用画像（外観に異常の無い対象物を撮像して得られた画像）がＭ枚であるとすると、Ｍ組の特徴量ｆm（ｘ，ｙ）（ｍ＝０，…，Ｍ−１）が生成される。
【００４３】
そして、ステップＳ１３では、生成したＭ組の特徴量に基づいて識別部１３を学習させる。
具体的には、識別部１３は、得られた特徴量ｆm（ｘ，ｙ）（ｍ＝０，…，Ｍ−１）に
対する確率密度関数Ｐ（ｆ（ｘ，ｙ））を識別器に学習させる。なお、確率密度関数Ｐ（ｆ（ｘ，ｙ））は、画像空間上の点（ｘ，ｙ）において、特徴量ｆ（ｘ，ｙ）が得られる確率を表す。確率密度関数Ｐ（ｆ（ｘ，ｙ））は、例えば、古典的な機械学習手法の一種であるカーネル密度推定法（Kernel Density Estimation; KDE）を用いて算出することができる。
【００４４】
図８は、確率密度関数Ｐの例を示した図である。図示した例は、座標（ｘ，ｙ）における特徴量ｆ（ｘ，ｙ）について、１０という値が得られる確率が相対的に大きく、２５という値が得られる確率が相対的に小さいことを表している。
【００４５】
以上に説明した構成によると、異常な外観を有さない対象物に対応する確率密度分布を学習させることができる。換言すると、学習済みの確率密度分布と、評価用画像から得られた特徴量とを対比することで、検査対象の物体について、どの程度の異常があるかを判
定できるようになる。
【００４６】
次に、学習済みの識別部１３が、検査対象の物体に対して行う異常判定の方法について説明する。
未知の対象物について外観検査を行う場合、特徴量算出部１２は、学習時と同様の方法によって、評価用画像に対する特徴量ｆ’（ｘ，ｙ）（ｘ＝０，…，Ｈ−１；ｙ＝０，…，Ｖ−１）を算出し、算出した特徴量と、学習用画像によって得られた確率密度関数Ｐ（ｆ（ｘ，ｙ））に基づいて、評価用画像の空間上の各点（ｘ，ｙ）における異常値Ｓ（ｘ，ｙ）を算出する。異常値Ｓ（ｘ，ｙ）は、座標（ｘ，ｙ）における異常の度合いを表す値であり、式（１）によって算出される。なお、εは十分に小さい実数値（例えば、０．００１）であるものとする。
【数１】
2020071716.tif 000003
【００４７】
式（１）によると、評価用画像に対応する特徴量ｆ’（ｘ，ｙ）の確率密度Ｐが小さい場合（すなわち、学習用画像において発生頻度が少ない特徴量が得られた場合）において、相対的に大きな異常値Ｓが得られる。反対に、評価用画像に対応する特徴量ｆ’（ｘ，ｙ）の確率密度Ｐが大きい場合（すなわち、学習用画像において発生頻度が多い特徴量が得られた場合）において、相対的に小さな異常値Ｓが得られる。
【００４８】
このようにして得られた、評価用画像空間上の各点（ｘ，ｙ）における異常値Ｓ（ｘ，ｙ）は、外観検査装置１０を活用する上位の装置に送信される。たとえば、工場内での品質検査において、キズや凹みといった外観の異常を検知する場合などに適用される。なお、算出した異常値Ｓは、所定の範囲（例えば、０から１００）に収まるように正規化してもよい。
【００４９】
以上説明したように、第一の実施形態では、画像中のある領域について、他の複数の領域との統計的分布の相違Ｄを複数取得し、その合計値を特徴量とする。かかる構成によると、ある領域と、複数の他の領域との非類似度を網羅的に学習するため、少ない学習サンプル数で精度の高い異常判定を行うことが可能になる。
さらに、「視覚的な顕著度があることが異常である場合」、「視覚的な顕著度が無いことが異常である場合」のいずれにおいても、正しく異常判定を行うことが可能になる。
さらに、異常値Ｓは、画像空間上の点ごとに得られるため、異常を検知した場合に、当該異常がどの部分に認められたかを示すことができる。例えば、異常値Ｓが突出している座標や、画像空間上における異常値Ｓの分布を、表示装置を介してユーザに示すようにしてもよい。例えば、図１１に示したように、異常値Ｓの分布をグラフィカルに表示することで、異常が認められた箇所を視覚的に提示することができる。
【００５０】
なお、実施形態の説明では、局所領域ＡおよびＢとして正方形の領域を設定したが、局所領域は正方形や矩形でなくてもよい。例えば、図９に示したように、直径がＬである円形領域を局所領域としてもよい。または、大きさ（面積）がＬである任意の形状を局所領域としてもよい。
【００５１】
（第二の実施形態）
第一の実施形態では、特徴量算出部１２が、局所領域同士の非類似度（統計的分布の相違Ｄ）を複数算出し、それらを合計したものを、画像空間上の各点（ｘ，ｙ）に対応する特徴量とした。これに対し、第二の実施形態は、画像空間上の各点（ｘ，ｙ）ごとに特徴ベクトルを算出する実施形態である。
第二の実施形態に係る外観検査装置１０の構成は第一の実施形態と同様であるため、機能構成図の説明は省略し、処理の相違点についてのみ説明を行う。
【００５２】
図１０は、第二の実施形態におけるステップＳ１２の処理を説明したフローチャートである。ステップＳ１２１およびＳ１２２の処理については、第一の実施形態と同様である。すなわち、固定された局所領域Ａに対して、局所領域Ｂを移動させながら低次特徴量を取得し、以下のように、統計的分布の相違Ｄを複数取得する。
【００５３】
・局所領域Ｂを（ｘb，ｙb）＝（ｘa−１，ｙa）に設定し、統計的分布の相違Ｄ1（Ａ，
Ｂ）を算出する
・局所領域Ｂを（ｘb，ｙb）＝（ｘa＋１，ｙa）に設定し、統計的分布の相違Ｄ2（Ａ，
Ｂ）を算出する
…
・局所領域Ｂを（ｘb，ｙb）＝（Ｈ−１，Ｖ−１）に設定し、統計的分布の相違Ｄｉ（Ａ，Ｂ）を算出する
【００５４】
そして、特徴ベクトルｆ（ｘa，ｙa）の１次元目の要素にＤ1を、２次元目の要素にＤ2…といったように、合計Ｈ×Ｖ個の統計的分布の相違Ｄを、特徴ベクトルの要素として追加する（ステップＳ１２４）。これにより、局所領域Ａを代表する座標に対応する特徴ベクトルとして、Ｈ×Ｖ次元のベクトルを得ることができる。
第二の実施形態では、このようにして、特徴ベクトルを、画像空間に含まれる全ての点について算出する。なお、第二の実施形態の説明においては、ベクトルを表す記号は省略し、特徴ベクトルを単にｆと表記する。
【００５５】
第二の実施形態においても、ステップＳ１１およびＳ１２の処理が、学習に用いる全ての画像について反復して実行される。すなわち、学習用画像（外観に異常の無い対象物を撮像して得られた画像）がＭ枚であるとすると、Ｍ組の特徴量ベクトルｆm（ｘ，ｙ）（
ｍ＝０，…，Ｍ−１）が生成される。
【００５６】
そして、ステップＳ１３で、生成したＭ組の特徴量に基づいて識別部１３を学習させる。
具体的には、識別部１３は、得られた特徴ベクトルｆm（ｘ，ｙ）（ｍ＝０，…，Ｍ−
１）に対する確率密度関数Ｐ（ｆ（ｘ，ｙ））を識別器に学習させる。確率密度関数Ｐ（ｆ（ｘ，ｙ））は、画像空間上の点（ｘ，ｙ）において、特徴ベクトルｆ（ｘ，ｙ）が得られる確率を表す。確率密度関数Ｐ（ｆ（ｘ，ｙ））は、前述したような、カーネル密度推定法等を用いて算出することができる。
【００５７】
第二の実施形態においても、学習済みの識別部１３を用いて、外観検査の対象物に対する異常判定を行う。
未知の対象物について外観検査を行う場合、特徴量算出部１２は、学習時と同様の方法によって、評価用画像に対する特徴ベクトルｆ’（ｘ，ｙ）（ｘ＝０，…，Ｈ−１；ｙ＝０，…，Ｖ−１）を算出し、算出した特徴ベクトルと、学習用画像によって得られた確率密度関数Ｐ（ｆ（ｘ，ｙ））に基づいて、評価用画像の空間上の各点（ｘ，ｙ）における異常値Ｓ（ｘ，ｙ）を算出する。異常値Ｓ（ｘ，ｙ）は、座標（ｘ，ｙ）における異常の度合いを表す値であり、式（２）によって算出される。なお、εは十分に小さい実数値（例えば、０．００１）であるものとする。
【数２】
2020071716.tif 000004
【００５８】
第二の実施形態で得られる異常値も、第一の実施形態と同様の性質を持つ。すなわち、評価用画像に対応する特徴ベクトルｆ’（ｘ，ｙ）の確率密度Ｐが小さい場合（すなわち、学習用画像において発生頻度が少ない特徴ベクトルが得られた場合）において、相対的に大きな異常値Ｓが得られる。反対に、評価用画像に対応する特徴ベクトルｆ’（ｘ，ｙ）の確率密度Ｐが大きい場合（すなわち、学習用画像において発生頻度が多い特徴ベクトルが得られた場合）において、相対的に小さな異常値Ｓが得られる。
【００５９】
このようにして得られた、評価用画像空間上の各点（ｘ，ｙ）における異常値Ｓ（ｘ，ｙ）は、外観検査装置１０を活用する上位の装置に送信される。たとえば、工場内での品質検査において、キズや凹みといった外観の異常を検知する場合などに適用される。
【００６０】
（変形例）
本発明は、前述した手段の少なくとも一部を備える外観検査装置として捉えることができる。また、入力された画像に基づいて異常を判定する異常判定装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を実行する異常判定方法または特徴量算出方法として捉えることもできる。
【００６１】
例えば、画像に含まれる何らかの異常を検出する装置として実施することもできる。すなわち、物品の検査を行う装置以外に適用することもできる。
また、実施形態の説明では、異常値の大きさによって異常判定を行う例を挙げたが、異常値の小ささによって類似画像を検索する装置などに応用することもできる。
また、本発明は、これらの方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００６２】
本発明における外観検査装置１０は、半導体集積回路（ＬＳＩ）による実装に限定されず、汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行することによって実現されても構わない。
【００６３】
また、実施形態の説明では、同一の装置が学習処理と評価処理の双方を行ったが、学習処理を行う装置と、評価処理を行う装置が分かれていてもよい。さらに、外観検査装置１０から、学習処理に関連した手段を省いてもよい。例えば、例示した外観検査装置１０から、学習に関する手段を省略し、評価処理のみを行う装置（識別装置）として実施してもよい。
この場合、学習済みの識別部１３（または、識別部１３が有する識別器）を装置から論理的に切り離し、別の装置に組み込み可能に構成してもよい。例えば、実施形態に係る外観検査装置１０によって学習された識別部１３を、評価処理のみを行う装置に組み込めるようにしてもよい。
また、反対に、学習処理のみを行う装置として発明を実施してもよい。
【符号の説明】
【００６４】
１０・・・外観検査装置
１１・・・画像入力部
１２・・・特徴量算出部
１２１・・・領域設定部
１２２・・・低次特徴量算出部
１２３・・・非類似度算出部
１２４・・・特徴量マップ生成部
１３・・・識別部
【図１】
2020071716.tif 000005
【図２】
2020071716.tif 000006
【図３】
2020071716.tif 000007
【図４】
2020071716.tif 000008
【図５】
2020071716.tif 000009
【図６】
2020071716.tif 000010
【図７】
2020071716.tif 000011
【図８】
2020071716.tif 000012
【図９】
2020071716.tif 000013
【図１０】
2020071716.tif 000014
【図１１】
2020071716.tif 000015