(57)【要約】【課題】検知対象の異変を確実に判定することのできる異変検知装置を得る。【解決手段】周期検出手段１０３は、画像特徴量抽出手段１０２で抽出された画像の特徴量を時系列に分析して、検知対象の変動周期を検出する。特徴量モデル生成手段１０４は、変動周期単位で画像特徴量の平均値を標準モデルとして生成する。異変検知手段１０５は、画像特徴量抽出手段１０２で抽出した画像特徴量と特徴量モデル生成手段１０４で生成した標準モデルの画像特徴量とを比較し、二つの特徴量の差が閾値を超える場合は検知対象の異変と判定する。【選択図】図１
2013191185.tif 000002
【特許請求の範囲】
【請求項１】
検知対象を連続して撮影した画像データから、各画像の特徴量を抽出する画像特徴量抽出手段と、
前記画像の特徴量を時系列に分析して、前記検知対象の変動周期を検出する周期検出手段と、
前記変動周期単位で画像特徴量の平均値を標準モデルとして生成する特徴量モデル生成手段と、
前記画像特徴量抽出手段で抽出した画像特徴量と前記特徴量モデル生成手段で生成した標準モデルの画像特徴量とを比較し、二つの特徴量の差が閾値を超える場合は前記検知対象の異変と判定する異変検知手段とを備えることを特徴とする異変検知装置。
【請求項２】
検知対象を連続して撮影した画像データから、各画像の特徴量を抽出する画像特徴量抽出手段と、
前記検知対象の制御状態を示す所定のプロセスデータを取得するプロセスデータ取得手段と、
前記画像の特徴量と前記プロセスデータとを時系列に分析して、前記検知対象の変動周期を検出する周期検出手段と、
前記変動周期単位で画像特徴量とプロセスデータにおけるそれぞれの平均値を標準モデルとして生成する特徴量モデル生成手段と、
前記画像特徴量抽出手段で抽出した画像特徴量と前記プロセスデータ取得手段で取得したプロセスデータと、前記特徴量モデル生成手段で生成した標準モデルの画像特徴量とプロセスデータとを比較し、二つの特徴量の差が閾値を超える場合は前記検知対象の異変と判定する異変検知手段とを備えることを特徴とする異変検知装置。
【請求項３】
機器または設備を連続して撮影した画像データにおける１枚の画像を複数のブロックに分割し、ブロック毎に画像特徴量を抽出する画像特徴量抽出手段と、
前記画像特徴量抽出手段で抽出した画像特徴量をブロック単位で時系列に分析して、前記機器または設備の変動周期を検出する周期検出手段と、
前記周期検出手段で検出した変動周期単位で各ブロックの画像特徴量の平均値を標準モデルとする特徴量モデル生成手段と、
前記画像特徴量抽出手段で抽出した画像特徴量と前記特徴量モデル生成手段で生成した標準モデルの画像特徴量とをブロック毎に比較し、二つの特徴量の差が閾値を超えたブロック数に基づいて前記機器または設備の異変を判定する異変検知手段とを備えることを特徴とする請求項１記載の異変検知装置。
【請求項４】
機器または設備を連続して撮影した画像データにおける１枚の画像を複数のブロックに分割し、ブロック毎に画像特徴量を抽出する画像特徴量抽出手段と、
前記画像特徴量抽出手段で抽出した各ブロックの画像特徴量とプロセスデータ取得手段で取得した機器または設備の複数のプロセスデータとをそれぞれ時系列に分析して、前記機器または設備の変動周期を検出する周期検出手段と、
前記周期検出手段で検出した変動周期単位で各ブロックの画像特徴量および複数のプロセスデータの平均値を標準モデルとする特徴量モデル生成手段と、
前記画像特徴量抽出手段で抽出した各ブロックの画像特徴量および前記プロセスデータ取得手段で取得した複数のプロセスデータと、前記特徴量モデル生成手段で生成した標準モデルの各ブロックの画像特徴量および複数のプロセスデータとを比較し、二つの特徴量の差が閾値を超えたブロック数およびプロセスデータ数に基づいて前記機器または設備の異変を判定する異変検知手段とを備えることを特徴とする請求項２記載の異変検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器や設備といった異変検知対象の画像データやプロセスデータからその異変を検知する異変検知装置に関する。
【背景技術】
【０００２】
各種プラントでは、生産ラインのオートメーション化が進み、通常は決められた間隔で同じ操作や動きでラインは稼動する。一方で、機器や設備の異常やヒューマンエラーによる生産ラインの異常停止や不良品の製造は、生産性を大きく低下させる原因となる。
そのため、機器や設備の異常を早期検知する手段が求められ、従来、一般的には、ＰＬＣ（Programmable Logic Controller）のプロセスデータから生産ラインの異常を検知していた。例えば、特許文献１では、機器や設備から出力されるプロセスデータを基に、学習しながらプロセスデータの正常モデルと異常判定閾値を特定し、機器や設備の異常を識別することが示されている。
【０００３】
また、従来では、生産ラインにカメラを設置し、撮影した画像を解析して異常を識別する方法もあった。例えば特許文献２では、製造物を撮影した１枚の画像をブロックに分割し、ブロック単位で画素を周波数変換して正常時の周波数データと比較することで画像上の異常ブロックを特定し、その異常ブロックに対し撮影画像と正常画像の特徴量を比較することで、生産ライン上の製造物の良否を識別することが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７０６３５号公報
【特許文献２】特開２００５−６１９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＰＬＣなどのプロセスデータだけからでは、検出できない生産ラインの異常もある。例えば、生産ラインが定期に正常停止するような生産工程では、ＰＬＣのプロセスデータからでは正常停止と異常停止の識別は困難であった。また、ＰＬＣが生産ラインの停止を出力しないが実際には停止してしまう異常もプロセスデータだけからでは識別できなかった。同様に、カメラ画像解析によって異常を検出する従来手法では、製造物だけを撮影した１枚の画像の解析結果から異常を識別するため、製造物の良否を識別することはできるが、上記のような機器や設備の異常を識別することは困難であった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、機器や設備といった検知対象の異変を確実に判定することのできる異変検知装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る異変検知装置は、検知対象を連続して撮影した画像データから、各画像の特徴量を抽出する画像特徴量抽出手段と、画像の特徴量を時系列に分析して、検知対象の変動周期を検出する周期検出手段と、変動周期単位で画像特徴量の平均値を標準モデルとして生成する特徴量モデル生成手段と、画像特徴量抽出手段で抽出した画像特徴量と特徴量モデル生成手段で生成した標準モデルの画像特徴量とを比較し、二つの特徴量の差が閾値を超える場合は検知対象の異変と判定する異変検知手段とを備えたものである。
【発明の効果】
【０００８】
この発明の異変検知装置は、検知対象の変動周期単位で画像特徴量の平均値を標準モデルとし、検知対象の画像特徴量と標準モデルの画像特徴量とを比較し、二つの特徴量の差が閾値を超える場合は検知対象の異変と判定するようにしたので、検知対象の異変を確実に判定することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による異変検知装置を示す構成図である。
【図２】この発明の実施の形態１による異変検知装置の特徴量モデル生成処理を示すフローチャートである。
【図３】この発明の実施の形態１による異変検知装置の周期検出方法の概念を示す説明図である。
【図４】この発明の実施の形態１による異変検知装置の特徴量モデル生成方法の概念を示す説明図である。
【図５】この発明の実施の形態１による異変検知装置の異変検知処理を示すフローチャートである。
【図６】この発明の実施の形態２による異変検知装置を示す構成図である。
【図７】この発明の実施の形態２による異変検知装置の特徴量モデル生成処理を示すフローチャートである。
【図８】この発明の実施の形態２による異変検知装置の特徴量モデル生成方法の概念を示す説明図である。
【図９】この発明の実施の形態２による異変検知装置の異変検知処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による異変検知装置を示す構成図である。
図１に示す異変検知装置１００には、生産ラインの機器や設備といった監視を行う検知対象を撮影するカメラ２００が接続され、このカメラ２００によるカメラ映像から生産ラインの異変を検知するよう構成されている。
【００１１】
異変検知装置１００は、汎用のパーソナルコンピュータや専用端末を用いて構成され、連続画像取得手段１０１、画像特徴量抽出手段１０２、周期検出手段１０３、特徴量モデル生成手段１０４、異変検知手段１０５、連続画像記憶領域１０６、特徴量モデル記憶領域１０７を備えている。連続画像取得手段１０１は、カメラ２００で取得された映像データを連続画像として取得する手段であり、連続画像記憶領域１０６は、連続画像取得手段１０１で取得された連続画像データを記憶するための記憶領域である。画像特徴量抽出手段１０２は、連続画像記憶領域１０６に記憶された連続画像データから各画像の特徴量を抽出する手段である。周期検出手段１０３は、画像特徴量抽出手段１０２で抽出された各画像の特徴量を時系列に分析して検知対象の変動周期を検出する手段である。特徴量モデル生成手段１０４は、周期検出手段１０３で検出された変動周期と画像特徴量に基づいて、変動周期単位で画像特徴量の平均値を標準モデルとして生成する手段であり、特徴量モデル記憶領域１０７は、特徴量モデル生成手段１０４で生成された標準モデルを記憶するための記憶領域である。異変検知手段１０５は、画像特徴量抽出手段１０２で抽出された画像特徴量と特徴量モデル記憶領域１０７で記憶されている標準モデルの画像特徴量とを比較し、二つの特徴量の差が予め設定した閾値を超える場合は検知対象である機器や設備の異変と判定する手段である。
【００１２】
なお、連続画像取得手段１０１〜異変検知手段１０５は、それぞれの機能に対応したソフトウェアと、これらを実行するためのＣＰＵや記憶装置といったハードウェアで構成され、また、連続画像記憶領域１０６および特徴量モデル記憶領域１０７は、半導体メモリやハードディスク装置といった記憶装置上に生成された記憶領域である。また、連続画像取得手段１０１〜特徴量モデル記憶領域１０７の少なくともいずれかを専用のハードウェアで構成してもよい。また、カメラ２００と異変検知装置１００は、Ｅｔｈｅｒｎｅｔ（登録商標／以下省略して記載）ケーブルあるいは同軸ケーブルで接続されている。
【００１３】
次に、実施の形態１の異変検知装置の動作について説明する。
まず、生産ライン稼動が通常・正常時の特徴量モデル生成方法を説明する。
図２は、特徴量モデル生成方法を示すフローチャートである。
異変検知装置１００は、連続画像取得手段１０１によってカメラ２００からＮ秒間の連続画像を取得し、連続画像記憶領域１０６に格納しておく（ステップＳＴ２０１）。次に、画像特徴量抽出手段１０２は、連続画像記憶領域１０６に格納した連続画像において、各画像を複数のブロックにメッシュ分割し、ブロック単位で画像特徴量を抽出する（ステップＳＴ２０２）。画像特徴量とは、例えば輝度、色相、動き量、動きベクトル、周波数データなど複数考えられる。従って、ブロック単位でこれらの複数の画像特徴量を抽出しておく。次に、複数の画像特徴量の中から周期検出に最適な特徴量を決定する（ステップＳＴ２０３）。画像特徴量を時系列に並べたときに、値の変動が大きい画像特徴量やピークが定期的に現れるような画像特徴量を選択した方が周期を最適に検出できる。最適特徴量はブロック毎に異なるものを選択してもよい。
【００１４】
次に、周期検出手段１０３は、画像特徴量抽出手段１０２で決定した最適特徴量を時系列に分析して、特徴量変動の周期時間を検出する（ステップＳＴ２０４）。時系列データから周期時間を導出する方法としては、フーリエ変換やウェーブレット変換などの周波数解析や自己回帰（ＡＲ）モデル推定法などを利用する。周期時間の検出は図３のようにブロック毎に行う。しかし、全てのブロックで同じあるいは同等の周期時間が検出できるとは限らない。従って、各ブロックの周期時間を集計して、画像全体の周期時間である映像シーン周期を算出する（ステップＳＴ２０５）。例えば、各ブロックで最も多かった周期時間を映像シーン周期時間としたり、周期が検出できなかったブロックを除き各ブロックの周期時間の平均を映像シーン周期時間としたりする。図３の例では周期が６秒の場合を示している。なお、全てのブロックで周期時間が検出できない場合は、カメラ２００から取り込む連続画像の長さ（Ｎ秒）よりも周期時間の方が長いことが考えられるため、連続画像の長さを長くする。
【００１５】
次に、特徴量モデル生成手段１０４では、連続画像記憶領域１０６に格納したＮ秒の連続画像の中から、サンプルとしてＫ個の映像シーン周期を選択し（ステップＳＴ２０６）、図４のように各映像シーン周期の最適特徴量Ｘ［ｉ，ｂ］の平均を算出する（ステップＳＴ２０７）。ｉは映像シーン周期の先頭画像を０としたときの画像番号で、ｂはその画像におけるブロック番号を示す。そして、特徴量モデル生成手段１０４は、このようにして算出した最適特徴量Ｘ［ｉ，ｂ］の平均を画像特徴量の標準モデル（＝特徴量モデル）として特徴量モデル記憶領域１０７に格納する（ステップＳＴ２０８）。
【００１６】
次に、上記特徴量モデルの生成処理で生成した特徴量モデルを使って、常時撮影しているカメラ映像から通常とは異なるシーンを検出する異変検知方法を説明する。
図５はその異変検知方法を示すフローチャートである。
異変検知を行う場合は、連続画像取得手段１０１によってカメラ２００から逐次映像データを取得し、画像データを連続画像記憶領域１０６に格納していく（ステップＳＴ５１３）。この映像データの格納は異変検知処理が終了するまで行う（ステップＳＴ５１４）。
異変検知手法の概要は、前述した特徴量モデル生成処理で生成した特徴量モデルの画像特徴量と、連続画像記憶領域１０６に格納した入力画像の画像特徴量とを比較し、二つの特徴量の差が閾値を超えたとき、監視対象である機器または設備に異変があったことを通知する。以下、その詳細を説明する。
【００１７】
異変検知手段１０５は、まず、前述の特徴量モデル生成処理で生成した特徴量モデルから異変度検出式を生成する（ステップＳＴ５０１）。異変度検出式は、以下のように、特徴量モデルの画像特徴量と入力画像の画像特徴量との差分総和を求める式であり、本式で算出された値を異変度とする。
2013191185.tif 000003
【００１８】
連続画像記憶領域１０６に格納した先頭から映像シーン周期が始まるとは限らないため、異変検知を開始する連続画像記憶領域の画像を、映像シーン周期の先頭までシフトして周期を同期する必要がある。そこで、シフト中か異変検知を開始しているかを示す開始フラグを設け、異変検知前は「停止」に初期化しておく（ステップＳＴ５０２）。また、異変検知を開始する連続画像記憶領域１０６の画像番号をＴとする。初期時はＴ＝１とする（ステップＳＴ５０２）。
【００１９】
次に、画像特徴量抽出手段１０２は、連続画像記憶領域１０６のＴ番目の画像を映像シーン周期の先頭画像と仮定し（ステップＳＴ５０３）、映像シーン周期の各画像に対し画像特徴量を抽出する（ステップＳＴ５０４）。抽出する画像特徴量は各ブロックにおいて特徴量モデル生成時に決定した最適特徴量とする。
【００２０】
次に、異変検知手段１０５は、画像特徴量抽出手段１０２で抽出した画像特徴量を入力画像の画像特徴量として上記の異変検出式に代入し、異変度を算出する（ステップＳＴ５０６）。もし、異変度が閾値を超えていた場合（ステップＳＴ５０７）、通常とは異なるシーンと判断し、異変としてユーザや上位システムに通知する（ステップＳＴ５０９）。但し、周期の同期ができていないことが異変度の大きい理由かもしれないため、前記の開始フラグをチェックし（ステップＳＴ５０８）、もし、開始フラグが「開始」でなければ、Ｔ＝Ｔ＋１として（ステップＳＴ５０５）、次の画像を映像シーン周期の先頭として上記処理を繰り返す。これにより、異変検知を開始する連続画像記憶領域１０６の画像を、映像シーン周期の先頭までシフトしていく。もし、異変度が閾値を超えていなければ（ステップＳＴ５０７）、周期の同期がとれたことを示すために開始フラグを「開始」とし（ステップＳＴ５１０）、Ｔ＝Ｔ＋映像シーン周期長Ｓとして（ステップＳＴ５１１）、次の映像シーン周期の先頭画像から上記処理を繰り返す（ステップＳＴ５１２）。
【００２１】
これにより、カメラの画像解析によって通常とは異なるシーンを検出することができる。
また上記例では、異変度を各ブロックの画像特徴量の差分の総和とし、異変度を閾値と比較することで異変判定を行う例を示したが、ブロック毎に閾値を設け、各ブロックの変異度（Ｆｂ（ｘ））と閾値を比較し、閾値を超えたブロック数に基づいて異変判定を行ってもよい。
【００２２】
以上説明したように、実施の形態１の異変検知装置によれば、検知対象を連続して撮影した画像データから、各画像の特徴量を抽出する画像特徴量抽出手段と、画像の特徴量を時系列に分析して、検知対象の変動周期を検出する周期検出手段と、変動周期単位で画像特徴量の平均値を標準モデルとして生成する特徴量モデル生成手段と、画像特徴量抽出手段で抽出した画像特徴量と特徴量モデル生成手段で生成した標準モデルの画像特徴量とを比較し、二つの特徴量の差が閾値を超える場合は検知対象の異変と判定する異変検知手段とを備えたので、検知対象の異変を確実に判定することができ、従来のプロセスデータだけでは困難であった生産ラインの異変といった判定も行うことができる。
【００２３】
また、実施の形態１の異変検知装置によれば、機器または設備を連続して撮影した画像データにおける１枚の画像を複数のブロックに分割し、ブロック毎に画像特徴量を抽出する画像特徴量抽出手段と、画像特徴量抽出手段で抽出した画像特徴量をブロック単位で時系列に分析して、機器または設備の変動周期を検出する周期検出手段と、周期検出手段で検出した変動周期単位で各ブロックの画像特徴量の平均値を標準モデルとする特徴量モデル生成手段と、画像特徴量抽出手段で抽出した画像特徴量と特徴量モデル生成手段で生成した標準モデルの画像特徴量とをブロック毎に比較し、二つの特徴量の差が閾値を超えたブロック数に基づいて機器または設備の異変を判定する異変検知手段とを備えたので、例えば、周期検出手段で画像上の周期性の高いブロックのみを選んで時系列分析を行うといったことができ、機器または設備の異変をより確実に判定することができる。
【００２４】
実施の形態２．
実施の形態２では、カメラの映像データと機器や設備が出力する時系列のプロセスデータから生産ラインの異変を検知するようにしたものである。
図６は、実施の形態２の異変検知装置を示す構成図である。
図６に示す異変検知装置１００ａは、実施の形態１と同様のカメラ２００からの映像データとプロセス信号発生器３００からのプロセスデータとに基づいて検知対象の異変を検知するよう構成されている。ここで、プロセス信号発生器３００は、ＰＬＣなどの機器や設備のシーケンス制御データを出力する装置である。また、プロセス信号発生器３００と異変検知装置１００ａとは、シリアルケーブル、ＵＳＢケーブル、Ｅｔｈｅｒｎｅｔケーブルなどで接続されている。
【００２５】
異変検知装置１００ａは、連続画像取得手段１０１〜特徴量モデル記憶領域１０７を備えると共に、プロセスデータ取得手段１０８とプロセスデータ記憶領域１０９とを備えており、連続画像取得手段１０１〜特徴量モデル記憶領域１０７については実施の形態１と同様であるため、ここでの説明は省略する。プロセスデータ取得手段１０８は、プロセス信号発生器３００で発生するプロセスデータを取得する手段であり、プロセスデータ記憶領域１０９は、プロセスデータ取得手段１０８で取得したプロセスデータを記憶するための記憶領域である。また、プロセスデータ取得手段１０８は、連続画像取得手段１０１〜異変検知手段１０５と同様のソフトウェアモジュールまたは専用のハードウェアで構成され、プロセスデータ記憶領域１０９は記憶装置上に設けられた記憶領域である。
【００２６】
次に、実施の形態２の異変検知装置の動作について説明する。
まず、生産ライン稼動が通常・正常時の特徴量モデル生成方法を説明する。
図７は、特徴量モデル生成方法を示すフローチャートである。
実施の形態２では、カメラ２００の映像データと機器や設備が出力する時系列のプロセスデータから特徴量モデルを生成する。カメラ２００の映像データの取得方法や画像特徴量の抽出方法（ステップＳＴ７０１〜ステップＳＴ７０４）は実施の形態１におけるステップＳＴ２０１〜ステップＳＴ２０４と同様である。実施の形態１の特徴量モデル生成と異なるのは、プロセスデータ取得手段１０８によってプロセス信号発生器３００からＮ秒間のプロセスデータを取得し、プロセスデータ記憶領域１０９に格納しておく（ステップＳＴ７０５）点と、周期検出手段１０３が、画像特徴量だけではなく、プロセスデータも時系列分析して周期時間の検出を行い、映像シーン周期を算出する（ステップＳＴ７０６〜ステップＳＴ７０７）点である。例えば、実施の形態１では、各ブロックの周期時間だけを集計して映像シーン周期を算出したが、実施の形態２では、プロセスデータの周期時間も集計して映像シーン周期を算出する。これにより、画像特徴量だけよりも映像シーン周期を的確に検出することができる。
【００２７】
特徴量モデル生成手段１０４による特徴量モデル生成においては、実施の形態１と同様にサンプルＫ個の映像シーン周期における画像特徴量Ｘ［ｉ，ｂ］の平均を算出すると共に、図８のようにプロセスデータＹ［ｉ，ｄ］の平均も算出して、特徴量の標準モデル（＝特徴量モデル）として特徴量モデル記憶領域１０７に格納する（ステップＳＴ７０８〜ステップＳＴ７１０）。ｉは映像シーン周期の先頭画像を０としたときの画像番号で、ｄはプロセスデータの種類番号を示す。プロセスデータとしては、例えば温度や電流・電圧などがあり、機器や設備の制御状態を示すデータである。
【００２８】
次に、上記特徴量モデル生成処理で生成した特徴量モデルを使って、常時撮影しているカメラ映像とプロセスデータから通常とは異なるシーンを検出する異変検知方法を説明する。
図９は、実施の形態２の異変検知方法を示すフローチャートである。
実施の形態２では、プロセスデータも利用するため、カメラ２００からの映像データ取得と同様に、プロセスデータ取得手段１０８によってプロセス信号発生器３００から逐次プロセスデータを取得し、プロセスデータ記憶領域１０９に格納していく（ステップＳＴ９１５）。このプロセスデータの格納は異変検知処理が終了するまで行う（ステップＳＴ９１６）。
【００２９】
カメラ映像からの異変検知手法（ステップＳＴ９０１〜ステップＳＴ９０４、ステップＳＴ９１３〜ステップＳＴ９１４）の基本的な流れは実施の形態１のステップＳＴ５０１〜ステップＳＴ５０４、ステップＳＴ５１３〜ステップＳＴ５１４と同様である。なお、ステップＳＴ９０２では、Ｔ＝１とすると共に、異変検知を開始するプロセスデータ記憶領域１０９の画像番号をＰとして、初期時はＰ＝１とする。
【００３０】
実施の形態２の異変検知手法では、異変検知手段１０５が特徴量モデルの画像特徴量と入力画像の画像特徴量だけではなく、特徴量モデルのプロセスデータと入力信号のプロセスデータの比較も行い、２つの差分の和が閾値を超えたとき、機器または設備に異変があったことを通知する（ステップＳＴ９０６〜ステップＳＴ９０９）。以下、その詳細を説明する。
【００３１】
異変検知手段１０５は、まず、前述の特徴量モデルの生成処理によって生成した特徴量モデルから異変度検出式を生成する（ステップＳＴ９０１）。異変度検出式は、以下のように、特徴量モデルの画像特徴量と入力画像の画像特徴量との差分総和に、特徴量モデルのプロセスデータと入力信号のプロセスデータとの差分総和を加えた値を求めるものであり、本式で算出された値を異変度とする。
2013191185.tif 000004
【００３２】
異変検知の基本的な方法は実施の形態１と同様であり、異変度が閾値を超えていた場合（ステップＳＴ９０７）、通常とは異なるシーンと判断し、異変としてユーザや上位システムに通知する（ステップＳＴ９０９）。なお、ステップＳＴ９０８とステップＳＴ９０５は、開始フラグが「開始」でなければＰ＝Ｐ＋１とする点以外は、実施の形態１におけるステップＳＴ５０８とステップＳＴ５０５と同様である。また、ステップＳＴ９１０〜ステップＳＴ９１２においても、ステップＳＴ９１１においてＰ＝Ｐ＋映像シーン周期長Ｓとする点以外は実施の形態１におけるステップＳＴ５１０〜ステップＳＴ５１２と同様である。
【００３３】
このように、プロセスデータも考慮して異変判定を行うことで、画像特徴量だけよりも更に異変検知の精度を上げることができる。
また、上記例では、異変度を各ブロックの画像特徴量の差分の総和にプロセスデータの差分の総和を加えたものとし、異変度を閾値と比較することで異変判定を行う例を示したが、ブロック毎およびプロセスデータ毎に閾値を設け、各ブロックおよび各プロセスデータの変異度（Ｆｂ（ｘ）およびＰｄ（ｙ））と閾値を比較し、閾値を超えたブロック数およびプロセスデータ数に基づいて異変判定を行ってもよい。
【００３４】
以上説明したように、実施の形態２の異変検知装置によれば、検知対象を連続して撮影した画像データから、各画像の特徴量を抽出する画像特徴量抽出手段と、検知対象の制御状態を示す所定のプロセスデータを取得するプロセスデータ取得手段と、画像の特徴量とプロセスデータとを時系列に分析して、検知対象の変動周期を検出する周期検出手段と、変動周期単位で画像特徴量とプロセスデータにおけるそれぞれの平均値を標準モデルとして生成する特徴量モデル生成手段と、画像特徴量抽出手段で抽出した画像特徴量とプロセスデータ取得手段で取得したプロセスデータと、特徴量モデル生成手段で生成した標準モデルの画像特徴量とプロセスデータとを比較し、二つの特徴量の差が閾値を超える場合は検知対象の異変と判定する異変検知手段とを備えたので、検知対象の異変を確実に判定することができる。また、プロセスデータは画像特徴量の変動がより周期性が高いため、このようなプロセスデータも含めて時系列分析を行うことにより、より的確に変動周期を検出することができ、生産ラインの異変といった判定の精度を更に向上させることができる。
【００３５】
また、実施の形態２の異変検知装置によれば、機器または設備を連続して撮影した画像データにおける１枚の画像を複数のブロックに分割し、ブロック毎に画像特徴量を抽出する画像特徴量抽出手段と、画像特徴量抽出手段で抽出した各ブロックの画像特徴量とプロセスデータ取得手段で取得した機器または設備の複数のプロセスデータとをそれぞれ時系列に分析して、機器または設備の変動周期を検出する周期検出手段と、周期検出手段で検出した変動周期単位で各ブロックの画像特徴量および複数のプロセスデータの平均値を標準モデルとする特徴量モデル生成手段と、画像特徴量抽出手段で抽出した各ブロックの画像特徴量およびプロセスデータ取得手段で取得した複数のプロセスデータと、特徴量モデル生成手段で生成した標準モデルの各ブロックの画像特徴量および複数のプロセスデータとを比較し、二つの特徴量の差が閾値を超えたブロック数およびプロセスデータ数に基づいて機器または設備の異変を判定する異変検知手段とを備えたので、例えば、周期検出手段で画像上の周期性の高いブロックやプロセスデータだけを選んで時系列分析を行うといったことができ、機器または設備の異変判定の精度を更に向上させることができる。
【００３６】
なお、上記実施の形態１、２では、検知対象として機器または設備としたが、これに限定されるものではなく、周期的に画像特徴量が変動するような検知対象であれば同様に適用可能である。
【００３７】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３８】
１００，１００ａ  異変検知装置、１０１  連続画像取得手段、１０２  画像特徴量抽出手段、１０３  周期検出手段、１０４  特徴量モデル生成手段、１０５  異変検知手段、１０６  連続画像記憶領域、１０７  特徴量モデル記憶領域、１０８  プロセスデータ取得手段、１０９  プロセスデータ記憶領域、２００  カメラ、３００  プロセス信号発生器。
【図１】
2013191185.tif 000005
【図２】
2013191185.tif 000006
【図３】
2013191185.tif 000007
【図４】
2013191185.tif 000008
【図５】
2013191185.tif 000009
【図６】
2013191185.tif 000010
【図７】
2013191185.tif 000011
【図８】
2013191185.tif 000012
【図９】
2013191185.tif 000013