(57)【要約】【課題】多数のセンサーにより得られる時系列データからカラー画像を生成し、画像の特徴を抽出して設備の異常を検知する異常検知装置及び異常検知方法を提供する。【解決手段】異常検知装置１は、センサー２の信号を時系列にセンサーデータとして取得するセンサーデータ取得手段１１と、センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換手段１３と、その５次元配列に基づくカラー画像を生成する画像生成手段１５と、畳み込みニューラルネットワークにカラー画像を入力し、全結合層の出力を特徴量として抽出する特徴量抽出手段１７と、抽出された特徴量を入力して排他識別を行うことにより異常を検知する排他識別手段１９と、を備える。排他識別手段は、１クラスサポートベクターマシンにより構成することができる。【選択図】図１
2020144619.tif 000002
【特許請求の範囲】
【請求項１】
設備に複数のセンサーが配されており、
前記センサーの信号を時系列にセンサーデータとして取得するセンサーデータ取得手段と、
前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換手段と、
前記５次元配列に基づくカラー画像を生成する画像生成手段と、
畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含む畳み込みニューラルネットワークに、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出手段と、
抽出された前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別手段と、
を備えることを特徴とする異常検知装置。
【請求項２】
前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体に格納するデータ蓄積手段を備え、
前記排他識別手段は、前記記憶媒体に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行う請求項１記載の異常検知装置。
【請求項３】
前記排他識別手段は、１クラスサポートベクターマシンにより構成される請求項１又は２に記載の異常検知装置。
【請求項４】
設備に複数のセンサーが配されており、
前記センサーの信号を時系列にセンサーデータとして取得するセンサーデータ取得工程と、
前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換工程と、
前記５次元配列に基づくカラー画像を生成する画像生成工程と、
畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含む畳み込みニューラルネットワークに、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出工程と、
抽出された前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別工程と、
を含むことを特徴とする異常検知方法。
【請求項５】
前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体に格納するデータ蓄積工程を含み、
前記排他識別工程は、前記記憶媒体に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行う請求項４記載の異常検知方法。
【請求項６】
前記排他識別工程は、１クラスサポートベクターマシンにより排他識別を行う請求項４又は５に記載の異常検知方法。
【請求項７】
前記設備において予め取得された複数の前記カラー画像を前記畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークから抽出した特徴量を１クラスサポートベクターマシンに学習させる転移学習工程を含む請求項６記載の異常検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検知装置及び異常検知方法に関する。詳しくは、多数のセンサーによって得られる時系列データからカラー画像を生成し、画像の特徴を畳み込みニューラルネットワークにより抽出して設備の異常を検知する異常検知装置及び異常検知方法に関する。
【背景技術】
【０００２】
近年では、ＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）が広く適用され、各種のプラント、設備や装置に多数のセンサーが配され、センサーによる計測データを用いて設備等の異常検知が行われている。計測データから異常を検知する技法は種々開発されている。例えば、時系列データの異常を疎構造学習により検知する時系列データ解析システムが開示されている（特許文献１）。この時系列データ解析システムにおいては、テスト用時系列データと参照用正常時系列データの各々について相関係数行列が作成され、それぞれから疎の精度行列が作成される。そうすると、テスト用時系列データと参照用正常時系列データの各々について、多変量ガウスモデル等によって近傍性の確率分布が記述できるため、負のエントロピーの計算により、異常度がカルバック・ライブラー距離として計算できる。
【０００３】
また、近年、深層学習の手法が飛躍的に進歩し、言語処理、画像認識など種々の分野に適用されている。特に画像認識分野においては、大規模教師付き画像データセット（ＩｍａｇｅＮｅｔ）が公開され、その後、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）を用いた画像認識システムが多数開発されている。例えば、ＣＮＮを用いて、画像から複数の対象物間の類似度を判定する類似度判定システムが開示されている（例えば、特許文献２参照）。
ＣＮＮは、画像の特徴抽出を行う畳み込み層と、特徴をまとめるプーリング層を繰り返す構造を有する。一般に、大規模教師付き画像データセットを用いて学習させたＣＮＮ各層のパラメータの汎用性は高く、更に対象タスクの訓練データを用いてパラメータをチューニングするファインチューニングを適用することにより、対象とする画像認識の精度を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７８４６７号公報
【特許文献２】特開２０１７−２０７９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
時系列データの異常を疎構造学習により検知する前記時系列データ解析システム（特許文献１）によれば、各種プラント、設備、装置等に配された多数のセンサーによって得られる時系列データを基に、異常を高精度に検知することができる。しかし、このような技法では計算量が膨大となり、設備等の異常をリアルタイムに検出することが困難である。
一方、ＣＮＮを用いた画像認識手法を適用可能であれば、画像データから効率よく且つ高精度に異常を検知できる可能性がある。しかも、公知のＩｍａｇｅＮｅｔデータベースを用いた学習では例えば１０００クラスの識別が可能とされるが、異常検知という目的においては、異常であるか否かが判定できればよい。また、ＣＮＮはＧＰＵを利用して高速な演算が可能であり、ＣＮＮにより異常をリアルタイムに検知可能とすることが期待される。
しかし、各種のプラント、設備や装置に配された多数のセンサーによって得られる時系列のデータを用いて、ＣＮＮを用いた画像認識手法を適用するには、その多数のセンサーの時系列データを異常検知のために効果的な画像に変換することが必要となる。
【０００６】
本発明は、上記現状に鑑みてなされたものであり、多数のセンサーによって得られる時系列データからカラー画像を生成し、画像の特徴を畳み込みニューラルネットワークにより抽出して設備の異常を検知する異常検知装置及び異常検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は以下のとおりである。
請求項１に記載の異常検知装置は、設備に複数のセンサーが配されており、前記センサーの信号を時系列にセンサーデータとして取得するセンサーデータ取得手段と、前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換手段と、前記５次元配列に基づくカラー画像を生成する画像生成手段と、畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含む畳み込みニューラルネットワークに、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出手段と、抽出された前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別手段と、を備えることを要旨とする。
請求項２に記載の発明は、請求項１に記載の発明において、前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体に格納するデータ蓄積手段を備え、前記排他識別手段は、前記記憶媒体に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行うことを要旨とする。
請求項３に記載の発明は、請求項１又は２に記載の発明において、前記排他識別手段は、１クラスサポートベクターマシンにより構成されることを要旨とする。
請求項４に記載の異常検知方法は、設備に複数のセンサーが配されており、前記センサーの信号を時系列にセンサーデータとして取得するセンサーデータ取得工程と、前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換工程と、前記５次元配列に基づくカラー画像を生成する画像生成工程と、畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含む畳み込みニューラルネットワークに、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出工程と、抽出された前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別工程と、を含むことを要旨とする。
請求項５に記載の発明は、請求項４に記載の発明において、前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体に格納するデータ蓄積工程を含み、前記排他識別工程は、前記記憶媒体に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行うことを要旨とする。
請求項６に記載の発明は、請求項４又は５に記載の発明において、前記排他識別工程は、１クラスサポートベクターマシンにより排他識別を行うことを要旨とする。
請求項７に記載の発明は、請求項６に記載の発明において、前記設備において予め取得された複数の前記カラー画像を前記畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークから抽出した特徴量を１クラスサポートベクターマシンに学習させる転移学習工程を含むことを要旨とする。
【発明の効果】
【０００８】
本発明の異常検知装置によれば、多数のセンサーから取得される時系列データをカラー画像に変換し、そのカラー画像の特徴を抽出することによって精度の高い異常検知を行うことができる。時系列のセンサーデータは無次元数となるように組み合わせた５次元配列に変換され、その５次元配列に基づいてカラー画像化されるため、図形的な相似性を評価指標とすることができる。また、カラー画像は、ＣＮＮにより特徴量の抽出を高速に行うことができる。更に、ＣＮＮ中の全結合層の出力を特徴量として抽出するため、特徴量の次元を大幅に低減することができる。ＣＮＮは、対象設備のセンサーデータから生成されたカラー画像を用いてファインチューニングさせることが可能であり、大量のデータがなくても異常検知を行うことができる。これらにより、センサーデータをモニタリングし、リアルタイムで設備の異常検知を行うことが可能になる。
また、前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体に格納するデータ蓄積手段を備え、前記排他識別手段は、前記記憶媒体に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行う場合には、簡単な構成により、蓄積データの特徴量に基づき、センサーデータから生成されたカラー画像が異常であるかどうかを識別することができる。
また、前記排他識別手段は、１クラスサポートベクターマシンにより構成することができる。
【０００９】
本発明の異常検知方法によれば、上記異常検知装置と同様の効果を奏する異常検知を行うことができる。
【図面の簡単な説明】
【００１０】
本発明について、本発明による典型的な実施形態の非限定的な例を挙げ、言及された複数の図面を参照しつつ以下の詳細な記述によって更に説明するが、同様の参照符号は図面のいくつかの図を通して同様の部品を示す。
【図１】実施形態に係る異常検知装置の構成を表すブロック図である。
【図２】複数のセンサーによって得られる時系列データを説明するための模式的グラフである。
【図３】センサーデータの５次元配列の構成例を示す図である。
【図４】流体力学分野における無次元化の例を示す計算式である。
【図５】ＲＧＢカラー画像の構成を表す説明図である。
【図６】ＲＧＢカラー画像の切り出し方法を示す説明図である。
【図７】所定の周期毎にカラー画像を切り出す方法を示す説明図である。
【図８】畳み込みニューラルネットワーク（ＣＮＮ）の構成例を示すブロック図である。
【図９】前図のＣＮＮをファインチューニングする方法を説明するためのブロック図である。
【図１０】チューニングされた前図のＣＮＮを特徴抽出器として用いる構成を説明するためのブロック図である。
【図１１】１クラスサポートベクターマシン（１クラスＳＶＭ）により排他識別を行う構成例を示す説明図である。
【図１２】配管設備の異常を説明するための模式的断面図である。
【図１３】配管設備の異常のシミュレーションを行うための配管の模式的断面図である。
【図１４】前図のセンサーによって計測される流速の変化を示すグラフである。
【図１５】疎構造学習と情報量エントロピーによる異常検知手法を説明する図である。
【図１６】配管設備の流速の異常度を示すグラフである。
【図１７】ＣＮＮと１クラスＳＶＭによりダクト閉塞を検出する試験方法を説明する図である。
【図１８】ＲＧＢカラー画像を用いたダクト閉塞の検出結果を示す図である。
【図１９】白黒濃淡画像を用いたダクト閉塞の検出結果を示す図である。
【発明を実施するための形態】
【００１１】
ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。
【００１２】
１．異常検知装置
本実施形態に係る異常検知装置（１）は、多数のセンサーが配されている各種のプラント、設備、装置等において、深層学習を用いて、各センサーによって計測された時系列の計測データから設備等の異常の検知を行うシステムである。
前記異常検知装置（１）は、センサー（２）の信号を時系列にセンサーデータとして取得するセンサーデータ取得手段（１１）と、前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換手段（１３）と、前記５次元配列に基づくカラー画像を生成する画像生成手段（１５）を備える。また、畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含む畳み込みニューラルネットワーク（ＣＮＮ）に、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出手段（１７）と、前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別手段（１９）と、を備える。
【００１３】
図１は、異常検知装置１の構成を表している。
前記センサー２の種類は限定されず、例えば、温度センサー、圧力センサー、速度センサー、流速センサー等を挙げることができる。また、センサー２の数、組み合わせ、位置等も特に問わない。
【００１４】
（センサーデータ取得手段）
前記センサーデータ取得手段１１は、センサー２の信号を時系列にセンサーデータとして取得するように構成されている。複数のセンサー２の各信号の時々刻々の変化（例えば、図２参照）は、時系列のセンサーデータとして取得することができる。センサーデータを取得する時間間隔は特に限定されず、例えば１秒毎にサンプリングするようにすることができる。
各センサー２の信号のレンジ（強度）は任意の単位とされればよいが、後に無次元化して生成される画像の諧調と対応するような分解能（例えば、画像が２５６諧調の場合は８ｂｉｔ）とされることが好ましい。各センサー２の信号のレンジは、以下の適宜の手段において補正することができる。
センサーデータ取得手段１１は、取得したセンサーデータを変換手段１３に送信すると共に、記憶媒体３に格納するように構成することができる。
【００１５】
（変換手段）
前記変換手段１３は、取得されたセンサーデータを無次元数となるように組み合わせた５次元配列に変換するように構成される。センサーデータの５次元配列の構成例を図３に示す。図示の例において、５次元配列は、Ｘ、Ｙ、Ｚ１、Ｚ２、Ｚ３の各要素からなっている。ここで、Ｘは時刻（任意単位）、Ｙは各センサー２の種類、番号、グループ、位置等に応じて任意に設定されるセンサーの配列情報、とすることができる。このＸ及びＹは、後述のカラー画像の画像面上の位置（座標）に対応させることができる。また、前記５次元配列において、Ｚ１、Ｚ２及びＺ３は、センサーデータを無次元化した数値の組み合わせとすることができる。すなわち、画像上の位置を示すＸ及びＹと、無次元量となる３つの数値の組み合わせ（Ｚ１、Ｚ２、Ｚ３）と、を配列して５次元配列（以下、「無次元化された５次元配列」ともいう。）としている。
【００１６】
前記５次元配列において、Ｚ１、Ｚ２及びＺ３の組み合わせは、無次元化される限り問わず、無次元量は適宜選択されればよい。例えば、流体力学の分野では、無次元数として、慣性力と粘性力との比を示すレイノルズ数（Reynolds number）Ｒｅ、対流による熱伝達と静止流体の熱伝導の比率を示すヌセルト数（Nusselt number）Ｎｕ、流体の動粘度と温度拡散率の比を示すプラントル数（Prandtl number）Ｐｒ、流れ場における粘性力に対する浮力の相対的な影響を示すグラスホフ数（Grashof Number）Ｇｒ等が知られている（図４参照）。例えば、レイノルズ数Ｒｅ（図４（ａ））は、物体の流れに対する相対的な平均速度v（ｍ／ｓ）と特性長さＬ（ｍ）との積を動粘性係数ν（ｍ２／ｓ）で除すことによって求められる。
よって、平均速度v、特性長さＬ及び動粘性係数νをそれぞれ求めるための１つ又は複数のセンサー２を任意に選択し、そのセンサーの信号の値を用いることによって無次元数Ｒｅとなる配列（Ｚ１、Ｚ２、Ｚ３）を構成することができる。例えば、Ｚ１を平均速度v、Ｚ２を特性長さＬ、Ｚ３を動粘性係数νに、それぞれ対応させればよい。無次元数を構成する要素が多い（４以上）場合には、どの要素を採用するかは、任意に選択することができる。
【００１７】
変換手段１３は、センサーデータ取得手段１１によって刻々取得される時系列のセンサーデータを用いて、リアルタイムに無次元化された５次元配列に変換するように構成することができる。また、記憶媒体３に格納されたセンサーデータを時系列に読み出して、５次元配列に変換するように構成することができる。
【００１８】
（画像生成手段）
前記画像生成手段１５は、前記５次元配列に基づくカラー画像を生成するように構成される。カラー画像は、Ｒ、Ｇ、Ｂ（赤、緑、青）の各層からなるＲＧＢ画像とすることができる。そして、画像の一方の軸を時間（Ｘ）、他方の軸をセンサーの配列情報（Ｙ）とし、無次元化された配列の要素Ｚ１、Ｚ２、Ｚ３を、それぞれＲ、Ｇ、Ｂに対応させることができる。要素Ｚ１、Ｚ２、Ｚ３をそれぞれＲ、Ｇ、Ｂのいずれと対応させるかは任意である。
上記のようにすれば、図５に示すように、カラー画像はＲＧＢの３層からなり、Ｒ、Ｇ及びＢの各層は、前記５次元配列の要素Ｚ１、Ｚ２、Ｚ３に対応させることができる。例えば、Ｒ層を前記平均速度v、Ｇ層を前記特性長さＬ、Ｂ層を前記動粘性係数νと割り当てるとすると、ＲＧＢカラー画像は無次元数である前記レイノルズ数Ｒｅに対応することになる。
【００１９】
カラー画像上の位置を示す前記他方の軸（Ｙ）は、センサー２の任意の配列情報に対応させることができる。全てのセンサー２をそれぞれＹ軸の座標に対応させる場合には、カラー画像のＹ軸方向のサイズ（画素数）はセンサー２の数に等しくなる。
カラー画像を生成するに際し、ＲＧＢ各層の両端（図５に示されるＹ軸方向の両端ａ、ｂ）の値が連続するようにされることが好ましい。具体的には、両端に同じ又は近似する値となるセンサーを配置する方法、数値が連続的に変化するように両端側の一定範囲を重み付けして補正する方法等により、連続性を得ることができる。
【００２０】
センサーデータに次元が残っていると、それを基に生成された画像を用いて異常を検知する精度を高めることが困難である。前記のようにセンサーデータを無次元化することによって、生成するカラー画像の図形的な相似性を評価指標とすることが可能になる。すなわち、視覚的にカラー画像の適切性を評価し、無次元量の選択、前記要素Ｚ１、Ｚ２、Ｚ３の対応付け、適用するセンサー２の選択、Ｙ軸上の配列等を調整することができる。これにより、大量のデータを準備しなくても、後述する特徴量抽出手段１７のチューニング精度を高め、転移学習による異常検知性能を高めることができる。また、ＲＧＢ各層のＹ軸方向の両端の値が連続するようにすれば、カラー画像の両端を繋ぎ合わせることにより画像面が円環状となるようにすることができ、画像の図形的な評価性をより高めることができる。
【００２１】
（特徴量抽出手段）
前記特徴量抽出手段１７は、前記カラー画像を所定の周期毎に切出し、切出された画像を畳み込みニューラルネットワーク（ＣＮＮ）に入力して当該画像の特徴量を抽出するように構成される。ＣＮＮは、畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含んで構成することができる。特徴量抽出手段１７として用いるＣＮＮの具体的な構成は特に限定されないが、少なくとも畳み込み層及びプーリング層をそれぞれ１以上備えることができる。そして、プーリング層に続く全結合層の出力をカラー画像の特徴量として抽出するように構成される。すなわち、本実施形態の特徴量抽出手段においては、ＣＮＮを特徴抽出器として使用する。
【００２２】
具体的には、前記画像生成手段１５により生成されるＲＧＢカラー画像は、図６に示すように、時間（Ｘ）軸上を流れる画像データにより構成される。そこで、一定の画素数ＷＸに対応する時間を単位としてウィンドウＷを設け、そのウィンドウＷを時間軸上でスライドさせることにより、一定の時間間隔で画像を切り出すようにすることができる。ウィンドウＷのＸ軸方向のサイズをＷＸ、Ｙ軸方向のサイズをＷＹとすると、ウィンドウＷの画素数は、ＷＸ×ＷＹ×３（ＲＧＢ）となる。Ｙ軸の座標はセンサー２の任意の前記配列情報に対応させることができる。Ｙ軸方向の１画素をセンサー２の１つずつに対応させる場合には、ウィンドウＷのＹ軸方向のサイズＷＹは、センサー２の数が最大値となる。
【００２３】
ＣＮＮとして、学習済みネットワークを適用することができる。学習（初期化）に用いるデータセットは特に限定されないが、例えば、大規模な教師付き画像データセットであるＩｍａｇｅＮｅｔ（参考  http://image-net.org/）データセットで学習済みのパラメータを利用することができる。
本実施形態において使用する画像のサイズ（ＷＸ×ＷＹ×３）は特に問わないが、様々な教師付き画像データセットを利用してＣＮＮを初期化する場合、その画像データセットで用いられている画像サイズの制限を受ける。例えば、ＩｍａｇｅＮｅｔを用いる場合、画像サイズは２２４×２２４×３又は２２７×２２７×３とすることが多い。
【００２４】
図７に示すように、特徴量抽出手段１７は、一定周期ＴＷでウィンドウＷを移動させ、カラー画像（Ｗ１、Ｗ２、Ｗ３…）を切り出すように構成される。本例において切り出される各画像（Ｗ１、Ｗ２、Ｗ３…）は時間軸において連続しているが、各画像は連続していなくてもよいし、一部が時間的に重なるようにされてもよい。
【００２５】
図８はＣＮＮ（４）の構成の一例を示している。ＣＮＮ４は、特徴抽出を行う畳み込み層４１３、特徴をまとめるプーリング層４１５等を繰り返す構造からなっている。特徴量抽出手段１７に用いるＣＮＮの階層の数、各層の配列は特に問わない。各前記カラー画像（Ｗ１、Ｗ２、Ｗ３…）は、順次、入力層４１１に入力される。
一般に、ＣＮＮ４は、特徴量を抽出するための特徴抽出層（特徴抽出器）４１と、相対識別を行うための識別層４３により構成されている。ＩｍａｇｅＮｅｔデータセットによる学習済みネットワークを用いた場合、識別層４３により１０００クラスの相対識別が可能とされるが、本実施形態においては２クラス（即ち正常又は異常）の識別が可能であればよい。このため、特徴量抽出手段１７としては、ＣＮＮ４の識別層４３を使用することなく、特徴抽出器４１に含まれる任意の全結合層４１７の出力を特徴量（特徴ベクトル）として抽出するように構成される。どの階層の全結合層４１７の特徴を選択するかは、適宜選択することができるが、通常は、識別層４３の手前１番目か２番目の全結合層４１７を用いることが好ましい。
【００２６】
全結合層４１７から出力される特徴量の具体的な構成は限定されない。例えば、サイズが４０９６×１×１の配列等とすることができる。
特徴抽出器４１により抽出された特徴量は、排他識別を行うための排他識別手段（１９）に入力される。
【００２７】
特徴量抽出手段１７については、教師付き画像データセットを利用してＣＮＮを初期化した後、対象設備において取得された訓練データを用いてファインチューニングを行うことができる。そのため、予め対象設備において取得されたセンサーデータを蓄積し、その蓄積データから生成された画像データを訓練データとしてＣＮＮをチューニングするファインチューニング手段を備えることができる。事前に蓄積するデータは、設備等が正常な状態で取得したデータであっても異常な状態におけるデータであってもよく、また正常と異常が混在したデータであってもよいが、通常は正常なデータが多数蓄積されることになる。
【００２８】
ＣＮＮ４のチューニングは、例えば、図９に示すように、予め取得されたセンサーデータから生成された画像データをＣＮＮ４に流し、ＣＮＮ各層のパラメータを更新することによって行うことができる。パラメータは、誤差逆伝播法により、ＣＮＮ４の出力層４３１から入力層４１１に向けて調整することができる。この調整後、特徴抽出器４１を構成する各層のパラメータが固定される。そして、特徴抽出器４１中の全結合層４１７（識別層４３に近い全結合層４１７）から抽出された特徴量が、蓄積データ特徴量として記憶媒体３に格納される。
設備等の運用時に特徴量抽出手段１７として用いるＣＮＮ４は、予め上記チューニングが施されたものとすることができる。すなわち、設備の運用時に異常検知のために流されるセンサーデータ（カラー画像）に対しては、図１０に示すように、ＣＮＮ４には上記チューニングされたパラメータが固定されて実装されている。
【００２９】
（排他識別手段）
排他識別を行うため、異常検知装置１にはデータ蓄積手段５１を備えることができる（図１参照）。具体的には、データ蓄積手段５１は、予め前記センサーデータ取得手段１１により取得されたセンサーデータを、蓄積データ（３２）として記憶媒体３に格納するように構成することができる。また、予め前記変換手段１３及び前記画像生成手段１５により生成されたカラー画像のデータが記憶媒体３に格納されてもよい。また、予め前記特徴量抽出手段１７を用いて抽出された蓄積データの特徴量を、蓄積データ特徴量（３６）として記憶媒体３に格納するように構成することができる。
この他、設備等の運用時に取得されるセンサーデータを基に特徴量抽出手段１７により抽出された特徴量を、センサーデータ特徴量（３４）として記憶媒体３に格納するように構成することができる。
【００３０】
前記排他識別手段１９は、抽出された前記カラー画像の特徴量を入力して排他識別を行うことにより異常を検知するように構成される。このため、排他識別手段１９は、記憶媒体３に格納されている前記蓄積データ特徴量（３６）と、取得されたセンサーデータの特徴量と、を入力して排他識別を行うように構成することができる。したがって、ＣＮＮ４の識別層４３は排他識別手段１９に置き換えられ、排他識別手段１９により２クラスの識別が行われることとなる。
【００３１】
図１１は、排他識別手段１９として１クラスサポートベクターマシン（One Class Support Vector Machine、１クラスＳＶＭ）を用いる場合の構成例を表している。１クラスＳＶＭ１９１には、特徴量抽出手段１７により抽出された１件のセンサーデータ特徴量が入力される。また、１クラスＳＶＭ１９１には、記憶媒体３に格納されている蓄積データ特徴量（３６）が入力される。蓄積データ特徴量（３６）の数は特に限定されず、例えば１０００件程度とすることができる。
例えば蓄積データ特徴量（３６）の数が９９９件の場合、１件のセンサーデータ特徴量と合わせて計１０００件によって排他識別が行われ、１クラスＳＶＭ１９１から２クラスの識別結果が出力される。そこで、１クラスＳＶＭ１９１により識別されたセンサーデータ特徴量のクラスが１であれば「正常」と判断し、そうでなければ「異常」と判断することができる。
１クラスＳＶＭ１９１は、対象設備等において取得された複数のカラー画像をＣＮＮ４に入力し、ＣＮＮ４から抽出した特徴量を学習させることができる（転移学習）。１クラスＳＶＭ１９１の学習に用いる画像は、設備等が正常な状態で取得したデータであってもよいし、正常と異常が混在したデータであってもよい。
１クラスＳＶＭは、カーネル法と組み合わせて用いることも可能である。
更に、例えば、直近１０００件の正常又は異常を、品質管理手法により（例えば、ｎｐ管理図を使用して）精査し、設備の異常を判断するようにすることができる。
【００３２】
２．異常検知方法
本実施形態に係る異常検知方法は、設備に複数のセンサー（２）が配されており、前記センサー（２）の信号を時系列にセンサーデータとして取得するセンサーデータ取得工程と、前記センサーデータを無次元数となるように組み合わせた５次元配列に変換する変換工程と、前記５次元配列に基づくカラー画像を生成する画像生成工程と、畳み込み演算を行う畳み込み層、前記畳み込み層の出力に対してプーリング処理を行うプーリング層、及び前記プーリング層の出力に対して全結合処理を行う全結合層を含むＣＮＮ（４）に、所定の周期毎に切出した前記カラー画像を入力し、前記全結合層の出力を特徴量として抽出する特徴量抽出工程と、抽出された前記特徴量を入力して排他識別を行うことにより異常を検知する排他識別工程と、を含む。
センサーデータ取得工程により、前記センサーデータ取得手段を構成することができる。また、変換工程、画像生成工程、特徴量抽出工程、排他識別工程により、それぞれ前記変換手段、前記画像生成手段、前記特徴量抽出手段、前記排他識別手段を構成することができる
【００３３】
また、前記設備において予め抽出した複数の前記特徴量を蓄積データ特徴量として記憶媒体（３）に格納するデータ蓄積工程を含み、前記排他識別工程は、記憶媒体（３）に格納されている前記蓄積データ特徴量と、前記センサーデータから抽出された特徴量とを入力することにより排他識別を行うようにすることができる。データ蓄積工程により、前記データ蓄積手段を構成することができる。
前記排他識別工程は、１クラスＳＶＭにより排他識別を行うようにすることができる。その場合、前記設備において取得された複数の前記カラー画像をＣＮＮ（４）に入力し、ＣＮＮ（４）から抽出した特徴量を１クラスＳＶＭに学習させる転移学習工程を含むことができる。
【００３４】
更に、対象設備等において予め取得された複数の前記カラー画像を前記ＣＮＮ（４）に入力することにより、ＣＮＮ（４）を学習させるファインチューニング工程を含むことが好ましい。
ファインチューニング工程においては、前記のとおり（図９参照）、予め対象設備等において蓄積された画像データをＣＮＮ（４）に流し、ＣＮＮ（４）各層のパラメータを更新することによって、特徴抽出器（４１）のチューニングがされる。パラメータは、誤差逆伝播法により、ＣＮＮ（４）の出力層から入力層に向けて調整することができる。この調整後、特徴抽出器（４１）を構成する各層のパラメータが固定される。そして、特徴抽出器（４１）中の全結合層（識別層４３に近い全結合層４１７）から抽出された特徴量が、蓄積データ特徴量として記憶媒体（３）に格納される。
設備等の運用時には、特徴量抽出工程において、予め上記チューニングが施されたＣＮＮ（４）を用いることができる。すなわち、設備の運用時に異常検知のために流されるセンサーデータ（カラー画像）に対しては、ＣＮＮ（４）には上記チューニングされたパラメータが実装されており、チューニングにより固定されたパラメータを用いて特徴抽出が行われる（図１０参照）。
本実施形態に係る異常検知方法によれば、上記異常検知装置と同様の効果を奏する異常検知を行うことができる。
【００３５】
３．試験例
本実施形態に係る異常検知装置及び異常検知方法は、設備等に発生した異常の前兆を検出し、設備等のトラブルを未然に防止することを目的としている。簡単な例として、図１２は、配管設備の異常を表している。設備が正常な状態においては、同図（ａ）に示すように、排気ダクト９に流入した流体は、ほぼ一様な流速で排気ダクト９内を流れて流出される。しかし、時間が経過すると排気ダクト９の内壁面の一部に汚れＤが堆積し（同図（ｂ））、更に排気ダクト９が閉塞されてしまう現象が生じる（同図（ｃ））。以下に、このように閉塞に向かう現象を熱流体解析によりシミュレーションした結果を説明する。
【００３６】
図１３に示すように、排気ダクト９（長さ１０００ｍｍ、外径１５０ｍｍ）の中心軸に沿って、１０箇所にセンサー２を配置する。そして、複数のセンサー２により流速、圧力及び温度を計測し、１８０時間の排気ダクト９内の流体の流れ及び熱の変化を３次元解析した。
図１４は、前図におけるセンサー２ｂによって計測される流速の１８０時間の変化を表している。排気ダクト９の閉塞に至る汚れＤの堆積は時間Ｔ０（６０ｈ経過時）に始まっているため、このタイミングで排気ダクト９の異常が検出されることが望ましい。しかし、異常判定の閾値を設けるとしても、センサー２ｂの信号と閾値を比較して、このタイミングで異常と判定することは困難である。
【００３７】
従来、疎構造学習と情報量エントロピーによる異常検知手法が用いられている。その概略を図１５に示す。同図（ａ）は変数１〜５の時間的な変化を示しており、各変数は流速、圧力、温度等である。疎構造学習により、正常な状態であった過去の一定期間における各変数間の関係性を学習したとき、同図（ｂ）に示すように変数１と２、１と３、１と５に関係性が見出されたとする。一方、現在の一定期間については、同図（ｃ）に示すように変数１と３、１と５に関係性が見出されたが、変数１と２の関係性がなかったとする。そこで、各変数に対する異常度αを情報エントロピーによって計算し、過去と現在のデータを比較することができる。詳細は省略するが、変数を５０個（５種類×１０箇所）、過去及び現在のそれぞれ２３１０×５０のデータを３セット用いて計算したところ、異常度αの上昇が確認された。具体的には、図１３、１４に示した排気ダクト９について、流速の異常度は図１６に示すように上昇した。これにより、排気ダクト９の異常は時間Ｔ０（６０ｈ経過時）に発生し、その後１８０時間が経過するまで徐々に排気ダクト９の閉塞が進むことが分かる。また、その状態は時間Ｔ１（８０ｈ経過時）には異常として検出可能である。
【００３８】
上記シミュレーションのとおり、疎構造学習と情報量エントロピー計算により精度のよい異常検知が可能である。時系列センサーデータの無次元配列に基づいて生成されるカラー画像を用いる本実施形態の異常検知装置又は異常検知方法によれば、これと同等の精度で異常検知が可能であり、しかもＣＮＮによりリアルタイムに異常を検知することが可能になる。
【００３９】
カラー画像を使用し、以上のようなＣＮＮ及び１クラスＳＶＭを用いることにより異常を検知した試験例について説明する。本例においては、ダクトの閉塞（図１２参照）を異常として検出した。ダクトは長さ１０００ｍｍ、外径１５０ｍｍであり、その中心軸に沿って、１０箇所にセンサー２が配置されている。
図１７は、本実施形態の異常検知装置（図１参照）により、ＣＮＮ（図１０参照）と１クラスＳＶＭ（図１１参照）を用いてダクト閉塞を検出する試験方法を説明する図である。本図において横軸（Ｘ軸）は時間に対応している（任意単位）。複数のセンサー２から取得される時系列のセンサーデータは、無次元数となるように組み合わせた５次元配列に変換され、その５次元配列に基づきＲＧＢカラー画像が生成される。そして、このＲＧＢカラー画像の流れから周期ＴＷ（＝４０）で画像を切り出し、切り出された各画像が順次ＣＮＮに入力される。各画像はリサイズされた画素数２２４×２２４のＲＧＢカラー画像（２４ｂｉｔ）である。
【００４０】
ＣＮＮとしては、一般にＡｌｅｘＮｅｔやＶＧＧ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔ等が知られているが、ここでは特徴抽出器ＶＧＧ１６を用いてＩｍａｇｅＮｅｔデータベースで学習済みのパラメータを用いた。ＣＮＮにより各画像の特徴量が抽出され、その特徴量が１クラスＳＶＭに入力される。本例では、図１７に示されるように、初期の一定期間ＬＳＶＭ（Ｘ＝０〜４９９）のデータを１クラスＳＶＭの学習に用いている。
演算装置は、ＧＰＵによるＧＰＧＰＵ（General-purpose computing on graphics processing units）を用いて構成されている。
【００４１】
ダクトの閉塞は、図１６に示したように、汚れの堆積により閉塞がゆっくり進行し、その後急速に閉塞が進む。図１７に示す例においては、初期の正常な状態（Ｘ＝０〜７７０）、閉塞がゆっくり進行する状態（「異常１」、Ｘ＝７７０〜）、及び閉塞が急速に進行する状態（「異常２」、Ｘ＝１５４０〜）に区分しているが、閉塞を早期に検出する目的から、「異常１」の発生時以降を異常として検出することを「正解」とした。
【００４２】
図１８は、上述の無次元化された５次元配列に基づくＲＧＢカラー画像を用いてダクト閉塞を検出した試験結果を示している。同図（ａ）は、「正解」と、１クラスＳＶＭによる正常か異常かの識別結果（「予測」）を表す。「正解」としては、約２５００秒経過時に異常と判断されている。図示された「予測」は、１クラスＳＶＭによるクラス分類の時間的変化を示したものである。Ｗｘピクセルで切り出した画像を１ピクセルずつ時間方向（Ｘ軸方向）にスライドさせながら切り出し、正常な状態の画像のみで学習させた１クラスＳＶＭへ入力し、正常又は異常を予測させている。本図より、約５０００秒を過ぎた頃には概ね異常の予測が出力されている。すなわち、異常と分類するのが正解とされてから約２５００秒後には、概ね異常が検出されていることとなる。
また、同図（ｂ）は、上記（ａ）の結果を、正解のクラス分類に対して、１クラスＳＶＭの識別結果を予測されたクラスとして、数値を正規化した混同行列（Confusion Matrix）で表したものである。これによれば、正解は異常である場合に、異常と予測された比率は０．８４、正常と予測された比率は０．１６である。一方、正解は正常である場合に、正常と予測された比率は０．８３、異常と予測された比率は０．１７である。よって、正解率は０．８４となる。
【００４３】
図１９は、上記試験例との比較のため、上記ＲＧＢカラー画像の代わりにラスターデータを用いた試験結果を示している。このラスターデータは、センサーから得られた時系列データを白黒諧調で画像化したものである。同図（ａ）は、上記「正解」と、１クラスＳＶＭによる正常か異常かの識別結果（「予測」）を表す。本図より、約９０００秒を過ぎた頃には概ね異常の予測が出力されている。すなわち、異常と分類するのが正解とされてから約６５００秒後に、概ね異常が検出されていることとなる。
また、同図（ｂ）は、白黒諧調画像を用いた場合の混同行列を上記同様に表したものである。これによれば、正解は異常である場合に、異常と予測された比率は０．８６、正常と予測された比率は０．１４である。一方、正解は正常である場合に、正常と予測された比率は０．６１、異常と予測された比率は０．３９である。よって、正解率は０．７４となる。
【００４４】
以上の試験結果から、無次元化された５次元配列に基づくＲＧＢカラー画像を用いて正常か異常かをクラス分類（予測）することにより、白黒諧調画像（ラスターデータ）を用いた場合に比べて、はるかに早い時期にダクトの閉塞を検出することができ、分類の正解率も大幅に向上することが分かる。
【００４５】
本発明は上記で詳述した実施形態に限定されず、本発明の請求項に示した範囲で様々な変形又は変更が可能である。
【産業上の利用可能性】
【００４６】
本発明は、各種のプラント、設備や装置等の異常検知に適用することができる。
【符号の説明】
【００４７】
１；異常検知装置、１１；センサーデータ取得手段、１３；変換手段、１５；画像生成手段、１７；特徴量抽出手段、１９；排他識別手段、１９１；１クラスＳＶＭ、
２；センサー、
３；記憶媒体、
４；畳み込みニューラルネットワーク、４１；特徴抽出器、４１１；入力層、４１３；畳み込み層、４１５；プーリング層、４１７；全結合層、４３；識別層、
５１；データ蓄積手段。
【図１】
2020144619.tif 000003
【図２】
2020144619.tif 000004
【図３】
2020144619.tif 000005
【図４】
2020144619.tif 000006
【図５】
2020144619.tif 000007
【図６】
2020144619.tif 000008
【図７】
2020144619.tif 000009
【図８】
2020144619.tif 000010
【図９】
2020144619.tif 000011
【図１０】
2020144619.tif 000012
【図１１】
2020144619.tif 000013
【図１２】
2020144619.tif 000014
【図１３】
2020144619.tif 000015
【図１４】
2020144619.tif 000016
【図１５】
2020144619.tif 000017
【図１６】
2020144619.tif 000018
【図１７】
2020144619.tif 000019
【図１８】
2020144619.tif 000020
【図１９】
2020144619.tif 000021