DEIM Forum 2017 H2-1

機械学習を用いた工場機器の故障予測
切通 恵介†

泉谷 知範†† NTT コミュニケーションズ 〒 105–0023 東京都港区芝浦E-mail: †{k.kiritoshi,tomonori.izumitani}@ntt.com
あらまし 近年，IoT が注目され，センサーデータを始めとする様々な機器に関するデータの収集・活用が重要視されている．製造業においては，センサーデータを利用した工場の保全の高度化が求められている．特に，機器の故障を予測することは，コスト面や工場の稼働率の点で重要性が高い．我々はニューラルネットを用いた工場機器の故障予測システムを開発した．まず，現実に収集された化学プラントのセンサーデータを用いてロジスティック回帰，サポートベクターマシン（SVM），ニューラルネットを用いてモデルの作成とその評価実験を行い，ニューラルネットで作成したモデルの有効性を確かめた．さらに，そのモデルを用いて工場機器の故障予測システムを作成し，未知データに対して予測実験を行い，その有用性を確かめた．
キーワード ニューラルネット，IoT，化学プラント，故障予測

1. は じ め にデルをそれぞれ作成した．モデルを用いてクロスバリデーションを行い，その予測精度を比較した．

近年，IoT の広まりにより，製造業を始めとしたプラントを次に，最も精度の高かったニューラルネットのモデルを用い含む様々なデータの収集や活用が行われている [1], [2]．工場機て工場機器の故障予測を行うシステムを作成した．このシステ

器の温度や電流などの状態を測るセンサーや，製造された製品

ムに 30 秒毎の未知データを入力することで，実際の故障前にの品質を測ることで得られる品質データ，機器をどのように操システムが故障を検知できるか確かめた．これにより，実際の作したかと言ったプロセスデータなどがそれにあたる．

運用においてシステムがどの程度の精度を以て予測を行えるか

さらに，集められた膨大なデータは統計的な解析や機械学習検証を行った．

を行うことで，製品の品質の安定化や，工場機器の状態の予測

本研究における主な貢献は以下のとおりである．

による異常検知など多岐に渡って活用されている．これらの活•センサーデータから工場機器の故障を予測するシステム

用はコストの削減や工場の稼働率の上昇の観点から，製造業にを開発し，未知の実データに対して評価，検証を行った．そのおける重要性が非常に高い．

中で最も発生頻度の多かった故障に対して高い予測精度を得た．

一方で，統計的な解析やロジスティック回帰やサポートベクターマシン（SVM）を始めとする従来の機械学習の手法の適用には，特徴量の抽出にその適用分野の専門的知識が必要であり，精度の高い効率的な活用が進まなかった．

•時系列のセンサーデータに対して機械学習による回帰問題に取り組み，ニューラルネットの有用性を確認した．

2. 関 連 研 究

データの解析や予測においては，データへの専門的な知識ニューラルネットを用いたセンサーなどの時系列データを入を必要としない方法としてニューラルネットが脚光を浴びてい力として異常を検知するシステムは幾つか提案されている．Rai

る [3], [4]．特に，画像分類の分野においてはその精度の高度化

らは心電図のシグナルデータを入力として，ニューラルネットには目覚しいものがある．その理由として，従来行われているのモデルを作成し異常と正常を高い精度で分類するシステムをたエッジ検出やスムージングといった画像特徴量の抽出を行わ作成した．[6]ずとも，CNN を始めとするニューラルネットがその特徴を適切に抽出することにある．[5]しかし，ニューラルネットの活用分野の多くは画像や映像の分類や生成，言語の翻訳などに関するものが多く，工場のセン

Shang らは石油精製プラントの原油蒸留装置に対するソフトセンサーをニューラルネットを利用して開発している [7]．SVM,PLS, NNPLS といった他の機械学習と比較してニューラルネッ
トの有効性を示している．

サーデータや，時系列性を含むデータに適用した研究は少ない．

複数のセンサーに対するニューラルネットの応用としては

そこで，我々は化学系プラントにおいて実際に収集されたセRadu ら [9] の研究がある．彼らは，スマートデバイスから取れンサーデータを用いて，工場機器の故障を予測するシステムをる様々な種類のデータをニューラルネットの一種である制限付ニューラルネットを利用して作成した．

きボルツマンマシンに適用することで，従来手法よりも精度のまず，30 秒毎に収集された 24 種類のセンサーデータを故障高い動作分類を行う手法を提案している．

時のデータと正常時のデータに分割し，学習データを作成した．

Qiu ら [8] は，ニューラルネットに遺伝アルゴリズムを組みこの学習データをロジスティック回帰，SVM，ニューラルネッ

合わせた下水処理場の排出における生化学的酸素必要量の推定トにそれぞれ学習させることで，１時間後の故障を予測するモを行う手法を提案している．17 次元の様々なセンサーデータに図1

表 1 センサーデータの内容

システムの概要図

サンプル数2070800 件

期間

正味 719 日分

取得周期30 秒

センサーの種類

24 種類

故障回数71 回

4. 1 データスペック
モデルの学習・評価において用いた工場のセンサーデータの内容を表 1 に示す．
センサーの値に関して各センサーごとに最大値，最小値を取得していたが，最大値・最小値の違いが極めて小さいことからその平均を使用した．また，故障開始時刻は，専門家のヒアリングを行った上で実際に機器が故障し，製造を停止した時刻と対して推定を行い，他の機械学習と比較して高い評価を得た．
これらの研究と比較して我々は，複数種類のセンサーデータ

その停止期間とした．さらに，各故障期間に製造停止の原因をそれぞれラベルとして付与した．

に対する故障予測を行うため，機械学習の比較評価を行う．まモデルの作成においてはデータ全体の５分の４を，システムた，故障を予測するシステムを開発し，未知データに対するシの評価においては残りの５分の１を学習に含まれない未知デーステムの有用性を確認する．

タとして使用する．

3. 故障予測システム

4. 2 概要

我々は，センサーデータを入力として，１時間後の工場機器

3. 1 システム概要の故障確率を出力するモデルを機械学習を用いて作成し，その樹脂製造会社 A では複数のタンクを用いて，プラスチックモデルの評価を行った．機械学習としてはニューラルネット，製品となる素材を連続的に製造するある一工程が存在する．製

SVM，ロジスティク回帰を用い，それぞれ比較を行った．

造を行う中で製造に関わるタンク内のある一部品が破損してしまず，我々はセンサーデータを正常データと故障データに分まうことが度々起こり，交換・保守のために一時的に運転を停割した．故障期間のうち，その開始時刻の 120 分前から 60 分止することによる機会損失や部品交換のためのコストが課題で前の 60 分間のセンサーデータを故障データ，それ以外の故障あった．

期間を含まない箇所からランダムにサンプリングした 60 分間

樹脂製造会社 A では IoT の一環として，このプラントのタンク内に温度・圧力といったセンサーを取り付けることで，タのセンサーデータを正常データとした．
我々は，SVM，ロジスティック回帰，ニューラルネットによンク内の状態や故障時の傾向を分析することで問題に対処してりそれぞれ予測モデルを，入力データの次元を圧縮しない場合いた．しかし，センサー項目が多岐にわたるため，専門家の知（2880 次元）と，圧縮した場合（240 次元）でそれぞれモデル見を用いても故障が起こる以前の兆候や傾向を見つけることはを作成した．

難しく，故障の予測を行い異常に対して事前に対処することは難しかった．

ニューラルネットは次元圧縮を行わない場合で３層の Multi

Layer Perceptron を用い，Dropout 率を 0.50，活性化関数を

我々は，このプラントにおいて収集されたセンサーデータをRelu，Optimizer を Adam とした．後者の次元圧縮を行った

用いて，ニューラルネットを始めとする機械学習を適用するこ場合で４層の Multi Layer Perceptron を用い，Dropout 率をとで，故障を事前に予測し，故障前に異常を知らせるシステム

0.50，活性化関数を Relu，Optimizer を Momentum SGD とを開発する．システムの概要を図に示す．

した．

システムは 30 秒毎に得られる 24 種のセンサーデータの過去60 分分を入力とする．さらに，次元削減の観点から，データをまた，予測モデルは故障データを１，正常データを０として教師あり学習を行った．

6 分毎に取り出し，並列させることで 24 センサーデータ × 10

モデルの作成に関しては 5-fold のクロスバリデーションにの 240 次元のベクトルに変換する．ベクトル化したデータを学よる評価を行った．まず，データを５分割し，データセットを習済みモデルに適用し，モデルは 30 秒毎にシステムの 60 分後五つ作成する．そのうちの四つを選んで学習データとして学習の故障確率を出力する．

を行い，残りの一つをテストデータとして評価を行う．これを4. 予測モデルの作成と評価データセットの組み合わせを変えて行うことで５回の学習とテストを繰り返した．

我々はまず，システムの開発のために 60 分分のデータを入本研究では，５回のクロスバリデーションでそれぞれ適合率，力として 60 分後の故障を学習するモデルを複数の機械学習の再現率，F-measure を算出し，それぞれの平均値を評価値とし手法を用いて作成し，比較・評価を行う．て用いた．適合率 P ，再現率 R，F-measure F はそれぞれ以下

表 8 ロジスティック回帰における各入力の重み表 2 2880 次元:モデルの評価値（94 サンプル）手法

適合率 再現率

センサー項目重み

ロジスティック回帰

0.78

0.880.82

圧力 A

0.35

SVM

0.72

1.000.84

温度変化率 A

0.18

ニューラルネット

0.96

0.99

0.99

温度 A0.07

F-measure

表 3 2880 次元:モデルの評価値（200 サンプル）手法

適合率 再現率

温度 B0.04

電流 A0.02

F-measure

温度 C-0.05

ロジスティック回帰

0.90

0.530.66

電流 B-0.12

SVM

0.940.530.67

温度 D-0.12

ニューラルネット

1.001.001.00

温度 E-0.31

表 4 2880 次元:モデルの評価値（1000 サンプル）手法

適合率 再現率

ロジスティック回帰

0.640.38

ンプル数において F-measure はニューラルネットが最も高い精F-measure0.47

度を得た．特に，200 サンプルにおける学習では最も値が高く，

SVM

0.73

0.430.53

ニューラルネットはサンプル中の全ての故障期間を誤りなく特ニューラルネット

0.87

0.780.82定することができた．一方で，1000 サンプルではどの機械学習でも評価値は下がり，十分な精度を得られなかった．

表 5 240 次元:モデルの評価値（94 サンプル）手法

適合率 再現率

一方，240 次元では 94 サンプルでの実験では一定の精度を得

F-measure

ロジスティック回帰

0.84

0.880.84

SVM

0.86

1.000.84

ニューラルネット

0.89

0.78

0.83

たものの，全体として精度は下がり，各機械学習での F-measureの大きな違いは見られなかった．
また，200 サンプルによる学習に対して，ロジスティック回帰で作成したモデルで特に影響の大きかった各センサー項目の表 6 240 次元:モデルの評価値（200 サンプル）手法

適合率 再現率

重みを表 8 に示す．

F-measure

ロジスティック回帰

0.86

0.58

0.63

SVM

0.98

0.590.67

ニューラルネット

0.92

0.550.67

ロジスティック回帰のモデルでは，圧力 A，温度変化率 A に大きな正の影響が，温度 E，温度 D，電流 B に対して大きな負の影響が得られた．

5. システム評価実験

表 7 240 次元:モデルの評価値（1000 サンプル）手法

適合率 再現率

F-measure

5. 1 概要

ロジスティック回帰

0.67

0.430.52

システムに未知データを適用し，事前に故障を予測できたかSVM

0.72

0.42

0.52

ニューラルネット

0.66

0.50

0.56

どうかで精度を評価した．最も精度が高かった 200 サンプルで学習を行ったニューラルネットのモデルを利用した．ただし，計算時間を考慮し，240 次元で作成したモデルを用いる．さらの式で表される．に，入力データ x に対するモデルの出力値に Softmax 関数 [10]を適用し，システムの出力値を故障確率 Pa (x) として以下のよTPTP + FPTPR =TP + FN
2P R
F =
P +R
P =(1)(2)(3)

ただし，T P はモデルが故障と判断し実際に故障だったデータうに表す．

exp(ya )i∈{a,n} exp(yi )Pa (x) = ∑(4)

ただし，ya は故障クラスの出力値，yn は正常クラスの出力値を表す．

数，F P はモデルが故障と判断したが故障ではなかったデータ

さらに，出力のノイズを減らすために，故障確率に対して過数，F N は正常と判断したが実際は故障だったデータ数を示す．

去 5 分分の出力の平均値を用いてスムージングを行い，システ

さらに，用いるデータのうち正常データと故障データの割合を 47:47（94 サンプル），47 : 153（200 サンプル），47: 953（1000 サンプル）と変化させて学習・評価を行った．

4. 3 結果

ムの最終的な出力とした．
システムの評価においては故障期間 27 箇所を含む未知デー
タを用いて，システムが実際の故障前に故障を予測できたかを検証した．30 秒毎に過去 60 分分のセンサーデータを入力し，作成したモデルのクロスバリデーションによる評価値のうち，システムが出力する故障確率が閾値（0.6）を超えた時点をシ2880 次元で評価を行ったものを表 2-4 に，240 次元で評価をステムが故障を検知した時点とし，その検知時刻が実際の故障行ったものを表 5-7 に示す．

開始時刻の前となっているかを検証し，適合率，再現率で評価

まず，圧縮を行わない 2880 次元の入力に関して，全てのサした．

表9た原因 A に対しては，その全てを検出することができた．一方システムの評価値
適合率 再現率0.82で，それ以外の原因に対しては高精度での検出ができなかった．

0.58

5. 3 考察システムの評価実験においては，全体的な再現率が低かった
ものの，原因 A に対しては非常に高い精度で故障を予測することができた．この原因としては，学習データ内では原因 A による故障の割合が高かったことが挙げられる．学習の際にさらに多様な原因を含めることができれば，他の原因に対しても高い精度の予測が可能なのではないかと考えられる．
また，原因 A 以外の原因による故障に関して，事前の予測はできなかったものの，故障とほとんど同時に故障確率が閾値を超えたものがいくつか存在した．このことから，これらの原因による故障は原因 A による故障とは異なる性質を持っている可能性が高いと考えられる．
また，システムが故障の予測を行えた場合は２時間〜６時間
図2前から故障確率が上昇し，閾値を上回っていた．この結果から，検出に成功した例

故障の前兆は数時間前から発生することが示唆され，システムは実用に対して十分な期間をもって予測が行えていたと考えら
れる．

6. 終 わ り に
本稿では，化学プラントのセンサーデータを用いて機械学習により工場機器の故障を予測するモデルを作成し，比較，評価を行い，センサーデータに対するニューラルネットの有用性を確認した．また，ニューラルネットで得られたモデルを用いてシステムを開発し，実運用と同様の未知データに対して評価を行い，最も頻度の多かった特定の原因による故障に対して高い予測精度を得た．
図3

今後の課題としては，さらなる多様かつ多量のデータを用い検出に失敗した例

たモデルの作成を行い，特定の原因以外の予測精度を高めたい．
表 10 故障原因毎の内訳
故障原因

実際の故障数 検知できた数

検出率

原因 A12121.0

原因 B

810.13

その他

410.25

また，実用化において予測だけではなく，故障の原因となるセンサーを特定することで，故障時にどのような操作を行うべきなのか明らかにする必要があると考える．

文

5. 2 結果

未知データに対するシステムの故障予測の評価値を表 9 に示す．
また，出力例のうち，故障の検出に成功した例を図 2 に, 検出に失敗した例を 3 に示す．ただし，緑色の線はシステムの出力する故障確率を，赤帯部は実際に故障が起きた時間帯を示す．
図に示すように，検出に失敗した例では，故障の発生前に発生確率が上がることはなかったが，故障の発生と同時に発生確率が上がる現象が多く見られた．
適合率に対しては 0.82 と高い数値を示せたものの，再現率は 0.58 と低い値が得られた．この結果から，故障の誤検出は少ないものの，検出もれが多いことが考えられる．また，故障原因毎にどれだけ検出できたかの内訳を表 10 に示す．
各原因のうち，データ内の故障期間の原因のうち最も多かっ

献[1] Jayavardhana Gubbi, Rajkumar Buyya, Slaven Marusic,Marimuthu Palaniswami: Internet of Things (IoT): A vision, architectural elements, and future directions. Future
Generation Comp. Syst. 29(7): 1645-1660 (2013)[2] Li Da Xu, Wu He, Shancang Li: Internet of Things in Industries: A Survey. IEEE Trans. Industrial Informatics 10(4):2233-2243 (2014)[3] Yann LeCun, Yoshua Bengio, and Geoﬀrey Hinton: Deeplearning. Nature 521.7553 (2015): 436-444[4] 松尾豊. 人工知能は人間を超えるか: ディープラーニングの先にあるもの: KADOKAWA, 2015.
[5] Alex Krizhevsky, Ilya Sutskever, Geoﬀrey E. Hinton: ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012: 1106-1114[6] Hari Mohan Rai, Anurag Trivedi, and Shailja Shukla: ECG
signal processing for abnormalities detection using multiresolution wavelet transform and Artificial Neural Networkclassifier. Measurement 46.9 (2013): 3238-3246[7] Chao Shanga, Fan Yanga, Dexian Huanga, Wenxiang Lyua:
Data-driven soft sensor development based on deep learningtechnique. Journal of Process Control 24.3 2014: 223-233[8] Yu Qiu, Yiqi Liu, and Daoping Huang: Date-Driven SoftSensor Design for Biological Wastewater Treatment Using
Deep Neural Networks and Genetic Algorithms. Journal ofChemical Engineering of Japan 49.10 2016: 925-936.
[9] Valentin Radu, Nicholas D. Lane, Sourav Bhattacharya, Cecilia Mascolo, Mahesh K. Marina, Fahim Kawsar: Towards
multimodal deep learning for activity recognition on mobiledevices. UbiComp Adjunct 2016: 185-188[10] Christopher M. Bishop, Nasser M. Nasrabadi: Pattern
Recognition and Machine Learning. J. Electronic Imaging
16(4): 049901 (2007)