(57)【要約】【課題】より高精度な異常判定を実現可能な新たな異常判定の手法を提供する。【解決手段】入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置２において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて前記異常判定を行うための異常判定処理を実行する処理実行手段１７を有することを特徴とする。【選択図】図１
2018005773.tif 000002
【特許請求の範囲】
【請求項１】
入力される判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されている判定対象物の異常を判定する異常判定を行う異常判定装置において、
正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて前記異常判定を行うための異常判定処理を実行する処理実行手段を有することを特徴とする異常判定装置。
【請求項２】
請求項１に記載の異常判定装置において、
前記異常判定処理は、前記差異情報が所定の異常条件を満たす画像部分を指示する異常画像部分指示処理を含むことを特徴とする異常判定装置。
【請求項３】
請求項２に記載の異常判定装置において、
前記異常画像部分指示処理は、前記判定対象画像上における前記画像部分の対応箇所を指示する画像処理がなされた画像を表示手段に表示させる処理を含むことを特徴とする異常判定装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の異常判定装置において、
前記処理実行手段は、前記判定対象画像データが複数チャネルの画像データを含む場合、前記再構成用パラメータを用いて各チャネルの画像データの特徴量から前記再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて前記異常判定を行うための異常判定処理を実行することを特徴とする異常判定装置。
【請求項５】
請求項４に記載の異常判定装置において、
前記異常判定処理は、前記差異情報が所定の異常条件を満たすチャネルを指示する異常チャネル指示処理を含むことを特徴とする異常判定装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の異常判定装置において、
前記処理実行手段は、前記判定対象画像データの特徴量を、前記正常画像データ群から抽出される特徴量から学習される特徴抽出用パラメータを用いて抽出することを特徴とする異常判定装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の異常判定装置において、
前記処理実行手段は、前記正常画像データ群から抽出される特徴量に基づいて作成された異常判定条件を用いて、前記判定対象画像データの特徴量に基づいて異常判定を行い、
前記異常判定処理は、前記判定対象画像データの特徴量に基づいて行った異常判定の結果を、前記差異情報に基づいて行った異常判定の結果とともに出力する処理を含むことを特徴とする異常判定装置。
【請求項８】
入力される判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されている判定対象物の異常を判定する異常判定を行う異常判定方法において、
正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて前記異常判定を行うことを特徴とする異常判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常判定装置及び異常判定方法に関するものである。
【背景技術】
【０００２】
従来、入力される判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されている判定対象物の異常を判定する異常判定装置が知られている。
【０００３】
例えば、特許文献１には、入力された検査対象の計測データから抽出した特徴量から、良品から得られた正常データに基づくモデルに従って当該検査対象の異常判定を行う検査装置が開示されている。この検査装置では、計測データから抽出した特徴量を用いて、パラメトリック判別モデルにより異常判定する機能と、ノンパラメトリック判別モデルにより異常判定をする機能を共に実行し、両者の判定結果に基づいて最終の異常判定を行う。両者の判定結果が相違する場合には、人間による判定結果の入力を受け付け、その入力結果を最終の異常判定結果とする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の異常判定装置における異常判定の手法だけでは十分な精度の異常判定を行うことが難しく、新たな異常判定の手法が望まれる。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明は、入力される判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されている判定対象物の異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて前記異常判定を行うための異常判定処理を実行する処理実行手段を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、より高精度な異常判定を実現することが可能となるという優れた効果が奏される。
【図面の簡単な説明】
【０００７】
【図１】実施形態における異常判定システムの構成を示す機能ブロック図である。
【図２】同異常判定システムの学習用演算器における処理の流れを示すフローチャートである。
【図３】同異常判定システムの判別用演算器における処理の流れを示すフローチャートである。
【図４】同異常判定システムの利用例を示す模式図である。
【図５】実施形態における特徴量抽出ニューラルネットワークを説明する説明図である。
【図６】実施形態における再構成ニューラルネットワークを説明する説明図である。
【図７】同特徴量抽出ニューラルネットワーク及び同再構成ニューラルネットワークの重み係数パラメータをオートエンコーダにより学習する例を示す説明図である。
【図８】同判別用演算器の異常判定部の判別器における外れ値の検出を説明するための説明図である。
【図９】入力された判別用画像データと再構成された再構成画像データとの再構成誤差の計算を説明するための説明図である。
【図１０】同異常判定システムのユーザインタフェースの一例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態について説明する。
図１は、本実施形態における異常判定システムの構成を示す機能ブロック図である。
本実施形態における異常判定システムは、主に、学習用演算器１と、異常判定装置としての判別用演算器２と、カメラ１０とから構成されている。学習用演算器１では、本異常判定システムにおける異常判定に必要なパラメータに関する学習を行う。判別用演算器２では、学習済みのパラメータを用いて異常判定を行う。カメラ１０は、判定対象物を撮像して、本異常判定システムに入力される画像データを取得する。なお、図１において、「ＮＮ」は「ニューラルネットワーク」を省略したものである。
【０００９】
学習用演算器１は、カメラ１０から取得した学習用正常画像データを予め学習に用いるデータとして学習用正常画像データ記憶部１１に蓄積しておく。学習用正常画像データ記憶部１１に蓄積される学習用正常画像データ群は、正常、異常のラベル情報を持たなくてもよいが、正常な画像データのみ、あるいは、正常な画像データが異常な画像データに対して圧倒的多数となるようにする。また、学習用正常画像データ記憶部１１に蓄積される学習用正常画像データ群は、前処理部１３により、画像サイズやチャネル調整など、学習に適切な形式に変換された状態で蓄積される。
【００１０】
特徴量抽出・再構成ニューラルネットワークパラメータ学習部１４では、適切なＮ次元の特徴量を得る次元圧縮処理を実施するための特徴量抽出ニューラルネットワークパラメータを取得する処理と、Ｎ次元特徴量を前処理部１３の処理後と等しい次元（画像データ）に再構成（復元）する圧縮データ再構成処理を実施するための再構成ニューラルネットワークパラメータを取得する処理を実行する。前者の処理で得られた特徴量抽出ニューラルネットワークパラメータは、特徴量抽出ニューラルネットワークパラメータ記憶部２１に記憶される。また、後者の処理で得られた再構成ニューラルネットワークパラメータは、再構成ニューラルネットワークパラメータ記憶部２２に記憶される。
【００１１】
また、識別モデル学習部１５は、識別モデルパラメータ記憶部２３に記憶されている異常判定条件としての識別モデルパラメータを取得するための学習を行う。
【００１２】
特徴量抽出・再構成ニューラルネットワークパラメータ学習部１４で得られる特徴量抽出ニューラルネットワークパラメータや再構成ニューラルネットワークパラメータ、及び、識別モデル学習部１５により得られる識別モデルパラメータは、判別用演算器２からも読み出して利用できるように構成される。
【００１３】
判別用演算器２は、カメラ１０で撮像した判別対象物の撮像画像のデータを判別対象画像データである判別用画像データとして取得し、判別用画像データ記憶部１２に記憶する。判別用画像データ記憶部１２に記憶される判別用画像データも、前処理部１３により、学習用正常画像データ記憶部１１に蓄積される学習用正常画像データと同じ形式に変換される。
【００１４】
特徴量抽出部１６は、判別用画像データ記憶部１２に記憶される判別用画像データから、特徴量抽出ニューラルネットワークパラメータ記憶部２１に記憶されている特徴量抽出ニューラルネットワークパラメータを用いて、Ｎ次元特徴量を抽出する処理を実行する。
【００１５】
データ再構成誤差検出部１７は、特徴量抽出部１６で抽出された判別用画像データのＮ次元特徴量から、再構成ニューラルネットワークパラメータ記憶部２２に記憶されている再構成ニューラルネットワークパラメータを用いて、前処理部１３の処理後と等しい次元（画像データ）に再構成（復元）して、再構成画像データを生成する処理を行う。また、データ再構成誤差検出部１７は、このようにして生成した再構成画像データと、判別用画像データ記憶部１２に記憶される判別用画像データとの差分計算を行う処理も実行し、その計算結果（差異情報）を再構成誤差提示部１９へと送る。
【００１６】
異常判定部１８は、識別モデルパラメータ記憶部２３に記憶されている識別モデルパラメータを用いて、特徴量抽出部１６で抽出したＮ次元特徴量から、判別用画像データが異常か正常かの判別する処理（異常判定）を実行し、その判別結果を異常判定結果提示部２０へと送る。
【００１７】
本実施形態の特徴量抽出部１６には、任意で設計したニューラルネットワークによる非線形圧縮を採用することができ、ニューラルネットワークのパラメータ学習には、教師なし学習の性質を持つオートエンコーダを用いることができる。また、識別モデル学習部１５にも、同様に教師なし学習で、正常パターンから外れ値を検出する分類器であるＯｎｅ−Ｃｌａｓｓ  ＳＶＭなどを用いることができる。なお、学習用演算器１及び判別用演算器２は、同一機であっても良い。
【００１８】
図２は、本実施形態の学習用演算器１における処理の流れを示すフローチャートである。
ステップＳ１０１では、学習用正常画像データの入力処理を行う。その後、ステップＳ１０２では、単純なサイズ変換、チャネルの分割、正規化など、学習に用いやすい形式になるように前処理を行う。前処理では、学習用正常画像データの数が少ない場合に、意図的にデータにノイズを加えるなどして、学習用正常画像データの数をかさ増しする処理を行っても良い。
【００１９】
ステップＳ１０３では、次元圧縮処理及び圧縮データの再構成処理を行うニューラルネットワークの重み係数パラメータを求める処理を行う。学習に必要なパラメータ（次元圧縮後の次元数や学習回数など）は、事前に設定しておく。ここで得られる特徴量抽出用ニューラルネットワークパラメータ及び再構成用ニューラルネットワークパラメータは、ステップＳ１０４において、学習用演算器１および判別用演算器２の特徴量抽出ニューラルネットワークパラメータ記憶部２１及び再構成ニューラルネットワークパラメータ記憶部２２にそれぞれ保存される。
【００２０】
ステップＳ１０５では、特徴量抽出用ニューラルネットワークパラメータを用いて、学習用正常画像データをＮ次元まで圧縮したＮ次元特徴量を取得する。そして、ステップＳ１０６では、取得したＮ次元特徴量を用いて、正常値と外れ値（異常データ）と識別する識別モデル（Ｏｎｅ−ｃｌａｓｓ  ＳＶＭなど）に必要な識別モデルパラメータを生成する。ここで得られた識別モデルパラメータは、ステップＳ１０７において、学習用演算器１および判別用演算器２の識別モデルパラメータ記憶部２３に保存される。
【００２１】
図３は、本実施形態の判別用演算器２における処理の流れを示すフローチャートである。
ステップＳ２０１では、判別用画像データの入力処理を行う。その後、ステップＳ２０２では、学習用演算器１でのステップＳ１０２の前処理と同じ処理を行う。ステップＳ２０３では、予め学習用演算器１でのステップＳ１０４で保存しておいた学習済みの特徴抽出用ニューラルネットワークパラメータを用いて、入力された判別用画像データに対する次元圧縮処理を行い、その判別用画像データのＮ次元特徴量の抽出を行う。
【００２２】
ステップＳ２０４では、ステップＳ２０３で抽出されたＮ次元特徴量に対し、学習用演算器１でのステップＳ１０７で保存された識別モデルパラメータを適用し、正常値であるか又は正常値から逸脱した異常値であるかを判別する。そして、その判別結果は、ステップＳ２０５において提示される。
【００２３】
また、ステップＳ２０６では、ステップＳ２０３で抽出されたＮ次元特徴量（圧縮データ）に対し、判別用画像データと同じ次元数のデータ（再構成画像データ）への再構成処理を実施する。そして、ステップＳ２０７において、元の判別用画像データと再構成画像データとを比較して差分（誤差）の計算を行う。この計算結果は、例えば、判別用画像データのどの領域（判別用画像上のどの画像部分）に異常が見られるかなどを指示する形で、ステップＳ２０８において提示される。
【００２４】
判別用演算器２における一連の処理（Ｓ２０１〜Ｓ２０８）は、中断・終了処理がなされるまで（Ｓ２０９のＹｅｓ）、繰り返し実行される。
【００２５】
図４は、本実施形態における異常判定システムの利用例を示す模式図である。
本実施形態における異常判定システムは、様々な異常判定に広く用いることができる。例えば、画像形成装置（判定対象物）の異常判定に利用する場合には、その画像形成装置で画像形成された画像の画像データを判別用画像データとして入力することで、その画像形成装置の異常判定を行うことができる。また画像自体が判定対象である場合には、その画像の画像データを判別用画像データとして入力することで、その画像自体の異常判定を行うこともできる。図４に示す利用例は、ある製造物（ワーク）３０の検査システムに利用したものである。
【００２６】
この検査システムに利用する場合、予めワーク３０に関する学習済みの識別モデルパラメータを識別モデルパラメータ記憶部２３に保存しておき、判別用演算器２の機能を有するパソコン３２に接続されたカメラ３１でワーク３０を撮像する。カメラ３１の撮像動作は、ユーザーによる手動入力によって撮像するものでも、ワーク３０の画像認識結果による自動撮像によるものでもよい。これにより、ワーク３０の撮像画像が判別用画像データとしてパソコン３２に入力される。その後、パソコン３２において、判別用演算器２の機能により、そのワーク３０の撮像画像（判別用画像データ）に基づき、そのワーク３０が正常か異常かの判別結果が演算されるとともに（Ｓ２０４）、その判別用画像データと再構成画像データとの差分計算が行われ、これらの結果が表示手段としてのモニタ３３に表示される。なお、これらの結果は、モニタ３３に表示させる場合だけでなく、パソコン３２に接続された通信ネットワークを介して外部機器へ出力するようにしてもよい。
【００２７】
図５は、本実施形態における特徴量抽出ニューラルネットワークを説明する説明図である。
図５に示す特徴量抽出ニューラルネットワークのモデルにおいて、入力層４１のニューロン数は、上述したステップＳ１０２やステップＳ２０２での前処理後のデータの次元数に一致しており、中間層４２を経て、出力層４３に至ることにより、Ｎ次元まで圧縮される。なお、図５に示すモデルでは、中間層４２が一層のみ図示されているが、何層あってもよい。特徴量抽出ニューラルネットワークのモデルは、具体的には、画像のフィルタ係数をパラメータとする畳み込み層や、各ニューロンすべてに重み係数をパラメータとして結合する全結合層などを組み合わせて、構成される。このとき、各ニューロンの出力が次層に送られる際にかかる重み係数パラメータＷ１，Ｗ２により、出力層４３で得られる特徴量が異なってくる。
【００２８】
図６は、本実施形態における再構成ニューラルネットワークを説明する説明図である。
図６に示す再構成ニューラルネットワークのモデルは、図５に示す特徴量抽出ニューラルネットワークと写像関係にある。再構成ニューラルネットワークのモデルは、入力層４５に与えられる次元圧縮された特徴量の次元数は、図５に示す特徴量抽出ニューラルネットワークの出力層４３と等しい。入力層４５に入力されたＮ次元の特徴量は、中間層４６を経て、出力層４７に至ることにより、特徴量抽出ニューラルネットワークの入力層４１と同じ次元まで復元される。各ニューロンの出力が次層に送られる際にかかる重み係数パラメータＷ３，Ｗ４により、出力層４７で得られるデータ（再構成画像データ）が異なってくる。なお、図６に示すモデルも、中間層４６が一層のみ図示されているが、何層あってもよい。
【００２９】
図７は、上述した特徴量抽出ニューラルネットワーク及び再構成ニューラルネットワークの重み係数パラメータＷ１をオートエンコーダにより学習する例を示す説明図である。
特徴量抽出ニューラルネットワーク及び再構成ニューラルネットワークの重み係数パラメータＷ１，Ｗ２，Ｗ３，Ｗ４は、任意の値であるが、入力データを良く表す特徴量を得るためには、学習により最適値を得る必要がある。以下、特徴量抽出ニューラルネットワークにおける入力層４１の出力値に掛けられる重み係数パラメータＷ１の学習を例に挙げて説明する。
【００３０】
オートエンコーダでは、入力層５１と出力層５３のニューロン数が等しく、中間層５２のニューロン数は少なくなる。図７に示すモデルの入力層５１と中間層５２は、図５に示すモデルの入力層４１と中間層４２に対応しており、ここで学習する重み係数パラメータＷ５が、図５に示す特徴量抽出ニューラルネットワーク重み係数パラメータＷ１となる。
【００３１】
オートエンコーダでの学習では、入力データを入力層５１に与えるとともに、出力層５２への教師信号として同じ値を与え、そこで計算された誤差を逆伝播させて恒等写像を実現するように（誤差が小さくなるように）、各重み係数パラメータＷ５，Ｗ６の学習を行う。その結果、中間層５２のニューロンの出力は、入力データを低次元で表現するベクトルとして得ることができる。
【００３２】
特徴量抽出ニューラルネットワークや再構成ニューラルネットワークにおけるすべての層の重み係数パラメータも同様に、前層の出力ベクトルを入力として段階的に重み係数パラメータを学習する手法により、各層の重み係数パラメータを決定することができる。
【００３３】
図８は、異常判定部１８の判別器における外れ値の検出を説明するための説明図である。
ステップＳ２０３の特徴量抽出処理において、仮に２次元の特徴量で正常データの分布を十分に表現するようなモデルパラメータが得られたとすると、その特徴量は、図８の白丸で示すような一定範囲の分布内に存在する。そして、十分に入力データが与えられたと仮定した場合、正常データ群を囲む点線で示された領域５４は正常データの分布範囲として定めることができる。但し、図８のように単峰性になるとは限らず、多峰性になることも考えられる。
【００３４】
上述したステップＳ１０６で生成する識別モデルパラメータは、図８に示す正常データの分布範囲を示す領域５４の境界線を決定するためのパラメータである。そして、ステップＳ２０３の特徴量抽出処理で得られた特徴量が例えば図８中の黒塗り四角５５で示される場合、ステップＳ２０４の異常判定処理において、この特徴量が抽出された判別用画像データは正常であると判別される。一方、ステップＳ２０３の特徴量抽出処理で得られた特徴量が、例えば正常データの分布範囲を示す領域５４から外れた黒塗り四角５６で示される場合、ステップＳ２０４の異常判定処理において、この特徴量が抽出された判別用画像データは異常であると判別される。
【００３５】
図９は、入力された判別用画像データとステップＳ２０６で再構成された再構成画像データとの差分計算（再構成誤差の計算）を説明するための説明図である。
図９には、判別用画像データの例として、正常な判別用画像データ６１と、異常な判別用画像データ６４とを示している。
【００３６】
学習済みの特徴抽出用ニューラルネットワークパラメータを用いた特徴量抽出処理（Ｓ２０３）を正常な判別用画像データ６１に対して行い、再構成ニューラルネットワークを経て再構成画像データ６２が得られる。得られた再構成画像データ６２は、正常な判別用画像データ６１の各画素との対応関係が保たれており、任意の画像部分（バッチ領域）について各画素間の差分を計算することができる。この差分計算を行うことで、誤差マップ画像６３を得ることができる。
【００３７】
異常な判別用画像データ６４においても、同様に、再構成画像データ６５が得られ、得られた再構成画像データ６５と異常な判別用画像データ６４との差分計算を行うことで、誤差マップ画像６６を得ることができる。
【００３８】
ここで、異常な判別用画像データ６４において発生している異常領域６７に関しては、再構成画像データ６５上では、対応する領域６８を正常に再構成（復元）できない。これは、ステップＳ１０３における再構成用ニューラルネットワークパラメータ（重み係数パラメータＷ３，Ｗ４）の学習では、正常な画像データの集合である学習用正常画像データ群を基準にして学習されているため、正常な画像データでない異常な判別用画像データ６４の異常領域６７から抽出される特徴量については、その再構成用ニューラルネットワークが当該異常領域６７の元データを再構成（復元）するための情報を持たないためである。
【００３９】
図９に示す説明図では、ステップＳ２０７の再構成誤差処理の演算結果（差異情報）として得られる誤差マップ画像６３，６６において、黒に近い画像部分ほど誤差が小さく、白に近い画像部分ほど誤差が大きいことを示している。したがって、この誤差マップ画像６６を表示することで、白に近い画像部分６９に対応する異常な判別用画像データ６４上の領域６７に、異常が発生していることを認識することができる。
【００４０】
図１０は、本実施形態における異常判定システムのユーザインタフェースの一例を示す説明図である。
図１０に示す画面例には、ステップＳ２０１における判別用画像データの入力処理、ステップＳ２０５における識別モデルパラメータを用いた異常判別結果の表示処理、ステップＳ２０８における再構成誤差処理の演算結果の表示処理を行うユーザインタフェースの画面７１を示している。
【００４１】
ユーザインタフェース画面７１中の入力データ表示部７２には、ステップＳ２０１で入力された判別用画像データに対応する判別用画像が表示される。ステップＳ２０１で入力された判別用画像データが複数チャネルをもつものである場合には、図１０に示すように、各チャネルの画像８５，８６がチャネル別に並べて表示される。また、ユーザインタフェース画面７１中のステータス表示部７３には、ステップＳ２０１で入力された判別用画像データの画像ファイル名やデータサイズなどの各種情報が表示される。
【００４２】
ユーザインタフェース画面７１中のデータ入力関連ボタン７４は、ステップＳ２０１で判別用画像データを入力させる処理の実行や、その他の必用なデータの読み込みなどの実行操作を受け付ける。
【００４３】
ユーザインタフェース画面７１中の結果表示部７５には、ステップＳ２０１で入力された判別用画像データ、すなわち、入力データ表示部７２に表示された判別用画像の判別結果が表示される。図１０に示す例では、入力データ表示部７２に表示された２つのチャネルの判別用画像８５，８６のうち下側の画像８６が異常であるとした判別結果が表示されている。
【００４４】
本実施形態では、結果表示部７５に異常である判別結果が表示されると、ユーザインタフェース画面７１中の再構成誤差表示部７６には、２つのチャネルの判別用画像のうち、画像中の再構成誤差の演算結果が大きい方の判別用画像についての誤差マップ画像が表示される。したがって、図１０に示す例では、下側の画像８６についての誤差マップ画像が表示される。この誤差マップ画像は、上述したように、誤差の大きさを濃淡の違いによって表した画像であるが、誤差の大きさが把握できるのであれば、誤差の大きさに応じて色を変えるなどの他の手法で表現してもよい。本実施形態の再構成誤差表示部７６では、誤差の大きさが濃淡で表現された誤差マップ画像が、元の判別用画像８６に重ねて表示されるため、判別用画像８６上のどの画像部分が異常領域であるのかが分かり易い。
【００４５】
再構成誤差表示部７６に表示されている判別用画像がどのチャネルの画像であるかの情報は、ユーザインタフェース画面７１中の表示中画像提示部７８に表示される。なお、ユーザインタフェース画面７１中のチャネル選択ボタン７９を操作することで、再構成誤差表示部７６に表示される画像を他のチャネルのものに切り替えることができる。また、ユーザインタフェース画面７１中の画像表示形式選択ボタン７７を操作することで、再構成誤差表示部７６に表示する画像の種類（誤差マップ画像が重なった判別用画像、誤差マップ画像が重なっていない元の判別用画像、誤差マップ画像のみ等）を切り替えることができる。
【００４６】
本実施形態によれば、再構成誤差表示部７６に表示される誤差マップ画像を見ることで、異常判別の知見が乏しいユーザーであっても、どの箇所に異常があるかを容易に特定することができる。その結果、従来の異常判別装置では、単に判別用画像データに異常があるかどうかしか判定できず、どの箇所に異常があるかの特定はユーザーの知見に依存していたところ、本実施形態によれば、知見が乏しいユーザーでも、どの箇所に異常があるかを特定できるようになる。
【００４７】
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
入力される判別用画像データ等の判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されているワーク３０等の判定対象物の異常を判定する異常判定を行う判別用演算器２等の異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成ニューラルネットワークパラメータ（重み係数パラメータＷ３，Ｗ４）等の再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報（再構成誤差の演算結果）に基づいて前記異常判定を行うための異常判定処理（再構成誤差表示部７６への表示処理等）を実行するデータ再構成誤差検出部１７等の処理実行手段を有することを特徴とする。
上述した特許文献１に開示の異常判定装置を含む従来の異常判定装置の中には、正常画像データ群から抽出される特徴量に基づいて作成された識別モデルパラメータ等の異常判定条件を用い、ステップＳ２０４のような判定対象画像データの特徴量に基づく異常判定を行うものがある。このような異常判定において、判定対象画像データから特徴量を抽出するのに用いる特徴量抽出ニューラルネットワークパラメータ等の特徴抽出用パラメータは、正常画像データ群から抽出される特徴量から機械学習により作成できる。このようにして抽出される正常画像データ群の特徴量からは、所定の再構成用パラメータを用いることにより、仮想的な正常画像データを再構成することが可能であり、このような再構成用パラメータは、正常画像データ群を用いて算出することができる。
このような再構成用パラメータを用いて、入力画像データの特徴量から再構成画像データを生成する場合、その入力画像データが正常画像データ群に含まれるような正常な画像データであれば、入力画像データと再構成画像データとの差異は小さいものとなる。しかしながら、その入力画像データが異常と判定されるべき異常な画像データであると、入力画像データと再構成画像データとの差異は大きい。
本態様によれば、入力された判定対象画像データ（入力画像データ）が異常と判定されるべき異常な画像データであるとき、その判定対象画像データと再構成画像データとの差異は大きいものとなり、これにより異常判定を行うことができる。このような新たな異常判定を実現できるので、例えば、この新たな異常判定の手法を、これまでの異常判定の手法と併用するなどにより、より高精度な異常判定を実現することが可能となる。
【００４８】
（態様Ｂ）
前記態様Ａにおいて、前記異常判定処理は、前記差異情報が所定の異常条件を満たす画像部分を指示する異常画像部分指示処理（再構成誤差表示部７６への誤差マップ画像の表示処理等）を含むことを特徴とする。
従来の異常判定装置は、その判定対象画像又は判定対象物が異常であることを判定することはできても、その判定対象画像又は判定対象物のどの部分が異常であるのかの判定はできない。
本態様により得られる再構成画像データと判定対象画像データとの差異情報は、判定対象画像上のどの画像部分の差異情報かを特定することができる。よって、本態様によれば、従来の異常判定装置では実現できなかった異常箇所の特定までも実現することが可能となる。
【００４９】
（態様Ｃ）
前記態様Ｂにおいて、前記異常画像部分指示処理は、前記判定対象画像上における前記画像部分の対応箇所を指示する画像処理がなされた誤差マップ画像等の画像をモニタ３３等の表示手段に表示させる処理を含むことを特徴とする。
上述したとおり、従来の異常判定装置は、その判定対象画像又は判定対象物が異常であることを判定することはできても、その判定対象画像又は判定対象物のどの部分が異常であるのかを判定することはできず、そのような判定はユーザーの知見に依存していた。
本態様によれば、表示手段に表示された画像を見ることで、知見が乏しいユーザーであっても、どの箇所に異常があるかを特定できるようになる。
【００５０】
（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記処理実行手段は、前記判定対象画像データが複数チャネルの画像データを含む場合、前記再構成用パラメータを用いて各チャネルの画像データの特徴量から前記再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて前記異常判定を行うための異常判定処理を実行することを特徴とする。
これによれば、より高精度な異常判定を実現することができる。
【００５１】
（態様Ｅ）
前記態様Ｄにおいて、前記異常判定処理は、前記差異情報が所定の異常条件を満たすチャネルを指示する異常チャネル指示処理（表示中画像提示部７８へのチャネル情報の表示処理）を含むことを特徴とする。
これによれば、どのチャネルの画像で異常が判定されたのかを把握することができる。
【００５２】
（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記処理実行手段は、前記判定対象画像データの特徴量を、前記正常画像データ群から抽出される特徴量から学習される特徴量抽出ニューラルネットワークパラメータ等の特徴抽出用パラメータを用いて抽出することを特徴とする。
これによれば、判定対象画像データの特徴量を適切に抽出することができ、より高精度な異常判定を実現することができる。
【００５３】
（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記処理実行手段は、前記正常画像データ群から抽出される特徴量に基づいて作成された識別モデルパラメータ等の異常判定条件を用いて、前記判定対象画像データの特徴量に基づいて異常判定を行い、前記異常判定処理は、前記判定対象画像データの特徴量に基づいて行った異常判定の結果を、前記差異情報に基づいて行った異常判定の結果とともに出力する処理を含むことを特徴とする。
これによれば、２つの異常判定結果から、異常の判定を行うことができ、より高精度な異常判定を実現できる。また、例えば、判定対象画像データの特徴量に基づいて行った異常判定の結果で異常と判定されたときだけ、差異情報に基づいて行った異常判定の結果を確認して異常箇所の特定を行うという作業が可能となり、より簡易に異常箇所の特定を行うことができる。
【００５４】
（態様Ｈ）
入力される判定対象画像データに基づいて、当該判定対象画像又は当該判定対象画像に表示されている判定対象物の異常を判定する異常判定を行う異常判定方法において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、前記判定対象画像データの特徴量から再構成画像データを生成し（Ｓ２０６）、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて前記異常判定を行う（Ｓ２０７）ことを特徴とする。
本態様によれば、入力された判定対象画像データ（入力画像データ）が異常と判定されるべき異常な画像データであるとき、その判定対象画像データと再構成画像データとの差異は大きいものとなり、これにより異常判定を行うことができる。このような新たな異常判定を実現できるので、例えば、この新たな異常判定の手法を、これまでの異常判定の手法と併用するなどにより、より高精度な異常判定を実現することが可能となる。
【符号の説明】
【００５５】
１  学習用演算器
２  判別用演算器
１０  カメラ
１１  学習用正常画像データ記憶部
１２  判別用画像データ記憶部
１３  前処理部
１４  特徴量抽出・再構成ニューラルネットワークパラメータ学習部
１５  識別モデル学習部
１６  特徴量抽出部
１７  データ再構成誤差検出部
１８  異常判定部
１９  再構成誤差提示部
２０  異常判定結果提示部
２１  特徴量抽出ニューラルネットワークパラメータ記憶部
２２  再構成ニューラルネットワークパラメータ記憶部
２３  識別モデルパラメータ記憶部
３０  ワーク
３１  カメラ
３２  パソコン
３３  モニタ
７１  ユーザインタフェース画面
７２  入力データ表示部
７３  ステータス表示部
７４  データ入力関連ボタン
７５  結果表示部
７６  再構成誤差表示部
７７  画像表示形式選択ボタン
７８  表示中画像提示部
７９  チャネル選択ボタン
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】特許第４５７３０３６号公報
【図１】
2018005773.tif 000003
【図２】
2018005773.tif 000004
【図３】
2018005773.tif 000005
【図４】
2018005773.tif 000006
【図５】
2018005773.tif 000007
【図６】
2018005773.tif 000008
【図７】
2018005773.tif 000009
【図８】
2018005773.tif 000010
【図９】
2018005773.tif 000011
【図１０】
2018005773.tif 000012