(57)【要約】【課題】  設備機器の異常時のデータ量は少なく、データの追加が難しい。そのため識別モデルの検知性能を確認しても、その信頼性は低い。【解決手段】  本発明に係る異常検知システムは、学習データを入力する学習データ入力部と、前記学習データから識別モデルを作成する識別モデル学習部と、前記識別モデルの検知性能を評価する識別モデルチェック部と、評価に必要な異常模擬データを生成するデータ生成部と、前記識別モデルの評価結果を通知する通知部と、を有し、異常データが少ないと判定された場合には、前記データ生成部で異常模擬データを生成する。【選択図】  図１
2019133212.tif 000002
【特許請求の範囲】
【請求項１】
設備機器の異常を検知する異常検知システムであって、
学習データを入力する学習データ入力部と、
前記学習データから識別モデルを作成する識別モデル学習部と、
前記識別モデルの検知性能を評価する識別モデルチェック部と、
評価に必要な異常模擬データを生成するデータ生成部と、
前記識別モデルの評価結果を通知する通知部と、
を有することを特徴とする異常検知システム。
【請求項２】
前記データ生成部は、
前記異常模擬データを生成する異常模擬データ生成手段と、
生成した前記異常模擬データを保存する異常模擬データ保存手段と、
を有することを特徴とする請求項１に記載の異常検知システム。
【請求項３】
前記データ生成部で生成される前記異常模擬データは、
前記設備機器の物理モデルを基にしたシミュレーションデータ、
前記設備機器の構成部品を意図的に劣化・故障をさせて採取した実験データ、又は、
前記設備機器の実稼動データにオフセット値やノイズを入れた加工データ、
の何れかであることを特徴とする請求項１に記載の異常検知システム。
【請求項４】
前記識別モデル学習部は、
前記学習データ入力部から入力される学習データ及び学習データ関連情報を保存する学習データ保存手段と、
前記学習データに基づいて機械学習を行う機械学習手段と、
前記機械学習により作成された識別モデルを保存する識別モデル保存手段と、
を有することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項５】
前記識別モデルチェック部は、学習データとして用いられる前記設備機器の実稼動データの種類や量に基づいて、正常データ及び異常データが不足しているか否かを判定することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項６】
前記識別モデルチェック部が、前記識別モデルの検知性能の評価に用いる異常データは、前記設備機器の実稼動データ、または、前記データ生成部で生成された前記異常模擬データの少なくとも一方であることを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項７】
前記通知部は、前記設備機器、故障モード及び学習データの種類、ならびに、異常検知に用いられるセンサ選択、運転モード選択、前処理、診断アルゴリズム、パラメータ及び学習期間に係わる情報を含んでいる学習情報を設定するための、学習データ設定画面を表示することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項８】
前記通知部は、前記設備機器、故障モード及び生成データの種類、ならびに、前記異常模擬データの生成に用いられる部品仕様、構成図、生成条件に係わる情報を含んでいる生成データ情報を設定するための、生成データ設定画面を表示することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項９】
前記通知部は、前記設備機器、故障モード及び評価データの種類、ならびに、異常検知に用いられる学習期間、診断期間、異常発生期間、後処理に係わる情報を含んでいる評価情報を設定するための、評価データ設定画面を表示することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項１０】
前記通知部は、異常検知の識別モデルの名称、評価データID及び後処理範囲、
ならびに異常検知性能の評価結果に係わる情報を含んでいる検知性能評価を出力するための、検知性能評価画面を表示することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項１１】
前記通知部は、異常検知性能の評価結果を、データ毎にユーザの入力値に基づいて重み付けするための、評価結果重み付け画面を表示することを特徴とする請求項１〜３の何れか一項に記載の異常検知システム。
【請求項１２】
設備機器の異常を検知する異常検知方法であって、
学習データを入力する学習データ入力工程と、
前記学習データから識別モデルを作成する識別モデル学習工程と、
前記識別モデルの検知性能を評価する識別モデルチェック工程と、
評価に必要な異常模擬データを生成するデータ生成工程と、
前記識別モデルの評価結果を通知する通知工程と、
を有することを特徴とする異常検知方法。
【請求項１３】
前記データ生成工程で生成される前記異常模擬データは、
前記設備機器の物理モデルを基にしたシミュレーションデータ、
前記設備機器の構成部品を意図的に劣化・故障をさせて採取した実験データ、又は、
前記設備機器の実稼動データにオフセット値やノイズを入れた加工データ、
の何れかであることを特徴とする請求項１２に記載の異常検知方法。
【請求項１４】
設備機器の異常を検知する異常検知プログラムであって、
学習データを入力する学習データ入力工程と、
前記学習データから識別モデルを作成する識別モデル学習ステップと、
識別モデルの検知性能を評価する識別モデルチェックステップと、
評価に必要な異常データを生成するデータ生成ステップと、
評価結果を通知する通知ステップと、
を異常検知システムに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習装置が生成した、設備機器の正常、異常の識別モデルの評価に適した環境を整備できる異常検知システム、及び、同システムで用いられる異常検知方法、プログラムに関する。
【背景技術】
【０００２】
風車のように常時稼動が予定された設備機器では、稼動率を向上させるために、或いは、深刻な事故の発生を防止するために、構成部品の異常を事前に検知することが求められている。そのために、設備機器の稼動時間に合わせて定期的に保守するという、時間基準の従来の予防保全から、設備機器の状態に合わせて随時に保守するという、状態基準の新たな予防保全への移行が進みつつある。
【０００３】
状態基準の予防保全を実現するには、設備機器に取り付けた各種センサを介して得られる実稼動データを基に、所定の異常検知方法によって設備機器の異常や異常予兆を検知することが重要である。
【０００４】
異常検知方法には機械学習を利用した方法がある。この方法では、まず正常時のデータを学習し、正常の識別モデルを作成する。そして、設備機器から得られる実稼動データが識別モデルの定義する正常範囲から閾値以上外れているかどうかで、設備機器が正常か異常かを判定する。
【０００５】
但し、この異常検知方法の実行前には、用意した識別モデルで設備機器の異常を正確に検知可能か確認しておく必要があり、そのためには、各故障で観測される多種多様な異常時の標本データを用いて識別モデルの適否を検査する必要がある。
【０００６】
このように、識別モデルの適否の判断には十分な数の標本データが必要となり、標本データが不足する場合には、識別モデルが用意した標本データに過剰適合する可能性もある。このため、特許文献１には、段落００３３で「分類対象の難しさと事前に仮定している識別モデルの複雑さとによって適切なデータ数のおよその数を知り、現状のデータ数で足りているか不足しているかを判定することができる。特に、訓練データの数が足りている場合には問題無いが、不足している場合には正しい判定を行えない可能性が高い。そのため、訓練データの数が不足している場合には、データを補充する必要があるメッセージを出して現状の訓練データだけでは過剰適合が発生する可能性があり、良好な性能が得られないことを知らせる必要がある。」と説明されるように、識別モデルの学習時に実稼動データやその他の情報が不足しているか否かを判定し、判定結果に応じてユーザにデータの追加を促すメッセージを通知する手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2016-133895号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、特許文献１の技術は、識別モデルの学習に必要なデータやその他の情報の不足を検知し、必要とされるデータ等の追加をユーザに促すことで学習の過剰適合を避けている。
【０００９】
しかしながら、発生頻度の低い異常時のデータの追加が求められても、そのようなデータは標本数が少なく、データの追加が難しいことが多い。そのため、データ不足の状態で識別モデルの検知性能を確認せざるを得ず、その評価結果の信頼性は低いものとなり、結果的に、異常検知の性能も低いものとなっていた。
【００１０】
そこで、本発明は、データ標本の不足分を補完する検証用データを生成し、これを用いて補完した異常時のデータを基に、識別モデルを適正に評価できる異常検知システム等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る異常検知システムは、学習データを入力する学習データ入力部と、前記学習データから識別モデルを作成する識別モデル学習部と、前記識別モデルの検知性能を評価する識別モデルチェック部と、評価に必要な異常模擬データを生成するデータ生成部と、前記識別モデルの評価結果を通知する通知部と、を有するものとした。
【発明の効果】
【００１２】
本発明によれば、識別モデルの適否の評価に利用する異常データの標本が不足する場合であっても、その不足を異常模擬データで補完することで、識別モデルを適正に評価することができる。そして、適切な識別モデルを用いて設備機器の異常を検知することで、設備機器の異常を高精度に検知することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１の異常検知システムの主要部を例示した図。
【図２】実施例１の異常検知システムと保守員、監視員、ユーザの関係を示した図。
【図３】図１の学習データ入力部から入力される、実稼動データの構成例を示した図。
【図４】図１の識別モデル学習部に記憶される、識別モデルの学習情報の構成例を示した図。
【図５】図１の識別モデルチェック部に記憶される、識別モデルのチェック情報の構成例を示した図。
【図６】識別モデルの検知性能を評価する情報の構成例を示した図。
【図７】図１のデータ生成部で生成される、異常模擬データの構成例を示した図。
【図８】図１のデータ生成部に記憶される、異常模擬データを生成するための情報の構成例を示した図。
【図９】図１の通知部で表示される学習データ設定画面の構成例を示した図。
【図１０】図１の通知部で表示される生成データ設定画面の構成例を示した図。
【図１１】図１の通知部で表示される評価データ設定画面の構成例を示した図。
【図１２】図１の通知部で表示される検知性能評価画面の構成例を示した図。
【図１３】実施例１での処理動作例を示すフローチャート。
【図１４】実施例２での処理動作例を示すフローチャート。
【図１５】図１の通知部で表示される評価結果重み付け画面の例を示した図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１５】
図１から図１３を用いて、本発明の実施例１について説明する。
【００１６】
図１は、本実施例の異常検知システムの主要部を例示した図である。ここに示すように、本実施例の異常検知システムは、学習データ入力部１、識別モデル学習部２、識別モデルチェック部３、データ生成部４、通知部５から構成される。これらは実際には演算処理装置(CPU(Central Processing Unit)、MPU(Micro Processing Unit)など)、記憶装置(半導体メモリ、ハードディスクなど)、入出力装置(キーボード、マウス、表示装置、通信装置など)等を備えた、いわゆるコンピュータによって構成されており、演算処理装置が記憶装置に記憶されたプログラムを実行することで各機能が実現される。
【００１７】
学習データ入力部１には、正常か異常かを識別したい設備機器に関する学習データが記憶されており、その学習データは識別モデル学習部２に送られる。
【００１８】
識別モデル学習部２は、学習データ入力部１から送られた学習データを用いて機械学習を行い、設備機器が正常か異常かを識別するための識別モデルを作成する。
【００１９】
識別モデルチェック部３は、識別モデル学習部２で作成された識別モデルの検知性能を評価し、評価結果を通知部５に送る。また、検知性能の評価に用いる異常データが不足している場合には、データ生成部４に不足している異常データ等に相当する補完データの生成を要求する。
【００２０】
データ生成部４は、識別モデルチェック部３の要求に従い、必要な補完データを生成する。生成された補完データは識別モデルチェック部３に送られる。
【００２１】
通知部５は、識別モデルチェック部３による識別モデルの評価結果をユーザに通知する。
【００２２】
図２は、本実施例の異常検知システムと保守員、監視員、ユーザの関係の概略を示した図である。ここに示すように、本実施例の異常検知システムは、設備機器１０、状態監視装置１１、異常検知性能評価装置１２から構成されており、保守員１３が設備機器１０を保守・点検し、監視員１４が状態監視装置１１から診断結果を受け、ユーザ１５が異常検知性能評価装置１２から受けた評価結果を基に追加・修正・選択などの作業を実行することを示している。なお、図１に示した異常検知システムの主要部は、図２では異常検知性能評価装置１２に内蔵されるものであるが、設備機器１０、状態監視装置１１、異常検知性能評価装置１２の三者は分離独立した構成である必要はなく、三者が一体となった構成としても良いし、状態監視装置１１、異常検知性能評価装置１２が一体となった構成としても良い。
【００２３】
設備機器１０は、機械的な動作をすることで所定の機能や動作を実現する、風車や鉱山機器などの機器であり、状態監視装置１１によって監視される。設備機器１０には、不足センサ、電流センサ、温度センサなどの各種センサが取り付けられており、各種センサから計測されたセンサデータは有線や無線の通信システムを通じて、または記憶装置や記憶媒体に書き込まれて、実稼動データ２０として状態監視装置１１に送られる。
【００２４】
状態監視装置１１は、表示装置、操作盤、制御コンピュータなどによって構成され、設備機器１０から収集した実稼動データ２０を基に、所定の異常検知技術（識別モデル）によって設備機器１０の異常の有無を診断し、その診断結果を監視員１４（設備機器設置場所に駐在する管理者等）に発報する。監視員１４は定期的に、または診断結果に基づき設備機器１０の異常、異常予兆が検知されたときに、保守員１３（設備機器を製造したメーカーの技術者等）に指示を出す。保守員１３は監視員１４の指示に従い、設備機器１０の保守・点検を行う。
【００２５】
異常検知性能評価装置１２は、パーソナルコンピュータやワークステーションによって構成され、ユーザ１５（状態監視装置のプログラムを開発するシステムエンジニア等）が設備機器１０の異常検知技術を開発するのを支援する。すなわち、ユーザ１５は状態監視装置１１から取得した学習用の実稼動データ２０や、ドメイン知識を用いて設備機器１０の異常検知技術を開発し、提供する。ここで、異常検知性能評価装置１２はユーザ１５が開発した異常検知技術の検知性能を評価する機能を有しており、評価結果をユーザ１５に通知する。
【００２６】
以上のようにして、ユーザ１５が開発し、異常検知性能評価装置１２が適切と評価した設備機器１０の異常検知技術は状態監視装置１１に登録されるため、状態監視装置１１では、適切な識別モデルを用いて設備機器１０を監視することができる。
【００２７】
以下では、図３から図１３を用いて、実施例１の異常検知システムをより具体的に説明する。実施例１の異常検知システムは、識別モデルの評価データを必要に応じて生成し、評価結果をユーザに通知することによって最適な識別モデルの決定を促すものである。
【００２８】
一例として、状態監視装置１１から実稼動データ２０が入力され、入力された実稼動データ２０から識別モデルを作成し、作成した識別モデルで評価用のデータが正常か異常かを識別するという異常検知性能評価装置１２を考える。
【００２９】
図３は、図１の学習データ入力部１から学習データとして入力される、実稼動データ２０の構成例を示した図である。ここに示すように、実稼動データ２０は、マシンデータ２１、センサデータ２２、アラームデータ２３から構成される。
【００３０】
マシンデータ２１は、「カテゴリ」、「機種」、「ID」、「稼動データID」からなるテーブルであり、設備機器１０の種別（例えば、風車、鉱山機器）、型式（例えば、Ａ、Ｂ、Ｃ）、製造番号（例えば、001、002）などを表すデータが含まれている。
【００３１】
センサデータ２２は、設備機器１０に取り付けられた各種センサから所定周期で取得された値が、その取得時刻と関連付けて記録されたテーブルである。図３のセンサデータ２２は、稼動データID「WA001」に対応する、「Ａ」機種、ID「001」の「風車」で取得されたデータであり、１秒周期で取得された風速、電流、温度の各データを示している。なお、センサデータ２２の項目は設備機器１０の種別毎に異なっても良く、例えば、設備機器１０がショベルカーやダンプカー等の鉱山機器である場合は、センサで測定した移動速度、位置、積載量などを記録した構成としても良い。
【００３２】
アラームデータ２３は、設備機器１０に起きた異常やモード変化を、その発生時刻と対応付けて記録したテーブルである。図３の例は、２０１８年２月１日の０時１０分００秒にアラームID「１０００」が発生し、０時２０分００秒にアラームID「１００１」が発生した後、０時２０分３０秒にアラームID「１０００」が解除されたことを示している。なお、各々のアラームIDは、後述する故障モード（例えば、「部品故障１」、「部品故障２」など）や運転モードの組合せに対応する値であり、一つのアラームIDで複数の故障やモード変化の発生を示すことができる。
【００３３】
学習データ入力部１は、図３の実稼動データ２０の情報を保持しており、識別モデルを生成する際に利用する学習データとして、実稼動データ２０を識別モデル学習部２へ送信する。
【００３４】
図４は、図１の識別モデル学習部２に記憶される、識別モデル学習情報３０の構成例を示した図である。ここに示すように、識別モデル学習情報３０は、ヘッダ情報３１、学習情報３２を含んで構成される。
【００３５】
ヘッダ情報３１は「データ種類」、「カテゴリ」、「機種」、「ID」、「稼動データID」、「故障モード」などの情報を含んで構成される。なお、「カテゴリ」、「機種」、「ID」、「稼動データID」は、実稼動データ２０のマシンデータ２１から得られるデータである。「データ種類」はそのデータの出自を表すものであり、「実稼動データ」の他、後述する「加工データ」、「シミュレーションデータ」といった区分が設定される。「故障モード」には、検知対象となる設備機器１０の故障の名称または故障部位の名称が設定され、故障がない場合には「正常」と設定され、故障がある場合には「部品故障１」のように設定される。
【００３６】
また、学習情報３２は「センサ選択」、「運転モード選択」、「前処理」、「診断アルゴリズム」、「パラメータ」、「学習期間」などの、識別モデルの生成に必要な情報を含んで構成される。なお、学習情報３２は、設備機器１０の「機種」、「ID」または「故障モード」毎にそれぞれ作成される。
【００３７】
学習情報３２の「センサ選択」には、設備機器１０に取り付けられた各種センサのうち、本実施例の異常検知に用いるセンサ、またはそのセンサから得られるデータの名称が設定される。図４の例では、風速、電流、温度が設定されている。
【００３８】
学習情報３２の「運転モード選択」には、設備機器１０の運転モードが設定される。運転モードの名称は監視員によって予め定義付けられており、その中から現在の運転モードを示すものが選択される。図４の例では、正常運転が設定されている。
【００３９】
学習情報３２の「前処理」には、センサデータの変換処理及び運転モードの分離条件などが設定される。変換処理にはノイズ除去のためのフィルタリング処理や移動平均処理などがあり、運転モードの分離条件とは設備機器１０の正常状態や異常状態を定義するための条件のことである。
【００４０】
一般的に設備機器１０の状態は、所定の機能や動作の形態が時間的に変化しない定常状態と、定常状態に到達するまでの過渡的な過程である非定常状態がある。また、定常状態は一つとは限らず、条件毎に別の状態に遷移するため、設備機器１０の全ての実稼動データ２０を用いて異常を診断した場合、診断結果に誤報が頻繁に現れる。そのため、設備機器１０の実稼動データ２０を運転モード毎に分離して診断することで、誤報を低減させることができる。本実施例では運転モードの分離条件にセンサデータ２２、アラームデータ２３及びそれらのデータから得られる情報を用いる。例えば、風車の定常状態を抽出するための分離条件として風速5m/s以上かつ20m/s以下というような条件が設定される。
【００４１】
また、学習情報３２の「診断アルゴリズム」の情報としては設備機器１０の異常を検知するための診断アルゴリズムの名称が設定される。図４の例ではK平均法としているが、それに限定されず、主成分分析、サポートベクターマシン、局所部分空間などであってもよい。なお、「パラメータ」には「診断アルゴリズム」で用いられるパラメータ情報が設定される。また、「学習期間」には実稼動データ２０のセンサデータ２２から任意の期間を抽出し、識別モデルを作成するための機械学習が実施された範囲を設定する。
【００４２】
識別モデル学習部２では、図４の識別モデル学習情報３０を用いて機械学習が行われ、作成された識別モデルは識別モデルチェック部３へ送られる。
【００４３】
図５は、図１の識別モデルチェック部３に記憶される、識別モデルチェック情報４０の構成例を示した図である。ここに示すように、識別モデルチェック情報４０は、ヘッダ情報４１、学習情報４２、評価情報４３を含んで構成される。ヘッダ情報４１と学習情報４２は、図４のヘッダ情報３１と学習情報３２と同様であり、評価情報４３は「学習期間」、「診断期間」、「異常発生期間」、「異常検知期間」、「後処理」などの情報を含んで構成される。
【００４４】
評価情報４３の「学習期間」には、図５の学習情報４２と同じ期間が設定される。図５の例では、２０１８年１月１日の０時００分００秒から２３時５９分５９秒が設定されている。
【００４５】
評価情報４３の「診断期間」には、異常検知期間、検知率、誤報率、失報率を評価した期間が設定される。図５の例では、２０１８年１月１日の０時００分００秒から同年２月１日の２３時５９分５９秒が設定されている。
【００４６】
評価情報４３の「異常発生期間」には、設定された「診断期間」内に異常が観測された期間が記録される。図５の例では、２０１８年１月１０日の２３時００分００秒から５９秒、２０１８年１月１５日の２３時００分００秒から５９秒、２０１８年２月１日の２３時００分００秒から５９秒の三度に亘り、設備機器１０の異常が発生している。
【００４７】
評価情報４３の「異常検知期間」には、「診断期間」で設定された期間内に識別モデルによって設備機器１０の異常を検知した期間が記録される。図５の例では、２０１８年１月１０日の２３時００分００秒から５９秒、２０１８年１月２０日の２３時００分００秒から５９秒、２０１８年１月２５日の２３時００分００秒から５９秒、２０１８年１月３０日の２３時００分００秒から５９秒の四度に亘り、識別モデルによって設備機器１０の異常が検知されている。
【００４８】
なお、図５の例では、評価情報４３の「異常発生期間」と「異常検知期間」で重複するのは、２０１８年１月１０日の１回のみであり、他は重複していない。このことから、異常の未検出が２回（１月１５日、２月１日）発生しており、異常の誤報が３回（１月２０日、２５日、３０日）発生していることが分かる。
【００４９】
また、図３のセンサデータ２２のような多変量のデータ（風速、電流、温度など）がある場合には、それぞれのデータを用いてクラスタリングをすることができる。一般的なクラスタリングにおいて、n個のセンサデータから構成される実稼動データ２０では、そのn個のセンサデータを成分としたn次元のベクトル空間を想定することができる。各時刻におけるセンサデータはn次元のベクトル空間の中で各クラスタに分けられ、いずれのクラスタにも属さないセンサデータがあった場合にはそのセンサデータを異常とみなし、設備機器１０において異常または異常の予兆が現れたと判定する。ここで、n次元のセンサデータがどのクラスタに属しているか否かを判定するために異常度の概念が導入される。例えば異常度はセンサデータが示す位置とその位置に最も近いクラスタの中心とのユークリッド距離に基づいて定義することができる。そして、その異常度が任意に定められた閾値を越えた場合に、そのセンサデータを異常とみなすことで、識別モデルを用いた異常検知を実施することができる。
【００５０】
評価情報４３の「後処理」には、設備機器１０の異常を検知する際に用いられる異常判定の条件が設定される。図５の例では、５以上の異常度が１０秒以上継続したときに、異常と判定している。また、図５の例では異常判定の条件は異常度であったが、図３のアラームデータ２３の「アラームID」の値を基に異常判定を行ってもよい。
【００５１】
図６は、識別モデルの検知性能を評価するための、検知性能評価情報５０の構成例を示した図である。ここに示すように、検知性能評価情報５０は、異常発生リスト５１、閾値評価表５２、ROC(Receiver Operating Characteristic)曲線５３などの情報を含んで構成される。
【００５２】
検知性能評価情報５０の異常発生リスト５１には、識別モデルによって評価された評価データの「異常度」とその「異常度」が観測された期間に実際に異常があったか否か(「正常/異常」)を登録する。なお、評価データとは、図５の評価情報４３の「診断期間」内のデータのことであり、「正常/異常」の設定は「異常発生期間」内のデータか否かで設定する。図６の例では、正常が５件、異常が１０件、発生している。なお、ここでは、異常発生しているのに異常度が低い場合（異常度「２」で「異常」）や、異常発生していないのに異常度が高い場合（異常度「１０」で「正常」）もあるが、これらは、診断モデルが最適化されていないことや、センサ出力に異常があること等が原因で、求めた異常度が正確でなかったと考えられる。
【００５３】
閾値評価表５２には、「異常度の閾値」と、これを変化させた場合の、異常発生リスト５１の異常の「検知率」、「誤報率」、「失報率」、「BER(Balanced Error Rate)」を格納させる。
【００５４】
検知性能評価情報５０の閾値評価表５２の「検知率」には、評価データの異常度が「異常度の閾値」以上となり、異常と判定された確率が格納され、「誤報率」及び「失報率」にはそれぞれ正常なのに異常と誤判定された確率及び異常なのに検知されなかった確率が格納される。また、「BER」には誤分類に相当する「誤報率」と「失報率」の平均が格納される。
【００５５】
例えば、「異常度の閾値」を１０とした場合、異常発生リスト５１の異常度１０以上のデータを異常と判定する。この閾値１０を用いると、異常１０件のうち２件を異常と判定するため「検知率」は０．２となり、８件を正常と判定するため「失報率」は０．８となり、正常５件のうち１件を異常と判定するため「誤報率」は０．２となる。これらの値が閾値評価表５２に格納され、「BER」には「誤報率」と「失報率」の平均である０．５が格納される。
【００５６】
図６の例では、異常度を異常判定のパラメータとしているが、異常の継続時間などをパラメータとしてもよい。なお、一般的にはこれらのパラメータの値を大きくしていくと、異常を捉えにくくなるため、検知率、誤報率は低下し、失報率は増加する傾向にある。一方、パラメータの値を小さくしていくと、異常をとらえやすくなるため、検知率、誤報率は増加し、失報率は低下する傾向にある。
【００５７】
検知性能評価情報５０のROC曲線５３には、閾値評価表５２の「異常度の閾値」を変化させ、横軸に「誤報率」、縦軸に「検知率」をプロットしたものが表示される。ここで、ROC曲線下の面積はAUC(Area Under the Curve)値と呼ばれ、識別モデルの検知性能の良さを表す。完全な識別が可能な場合には面積は１となり、ランダムな識別である場合には0.5になる。図６の例のROC曲線５３は、閾値評価表５２の「誤報率」と「検知率」をプロットしたROC曲線であり、そのAUC値は0.75となっている。
【００５８】
識別モデルチェック部３は、図５の識別モデルチェック情報４０と、図６の検知性能評価情報５０の情報を保持しており、両情報に基づく評価結果を通知部５へ送信するが、識別モデルの検知性能を評価するための実稼動データ２０が不足している場合には、データ生成部４に実稼動データ２０を補完あるいは代替させる異常模擬データ６０の生成を要請する。
【００５９】
データ生成部４で異常模擬データ６０を生成する方法の一例としては、物理モデルによるシミュレーションを利用する方法がある。物理モデルとは対象とする設備機器の動作原理から計算機上で物理現象を表現するモデルのことである。
【００６０】
図７は、図１のデータ生成部４で生成される異常模擬データ６０の構成例を示した図である。ここに示すように、異常模擬データ６０は、マシンデータ６１、シミュレーションデータ６２、異常情報６３から構成される。
【００６１】
マシンデータ６１には、図３のマシンデータ２１と同様に、「カテゴリ」、「機種」、「ID」、「稼動データID」など設備機器１０の種別、型式、製造番号などを表す情報が含まれている。
【００６２】
シミュレーションデータ６２には、設備機器１０を模擬した物理モデルのシミュレーションによって生成された値が、そのシミュレーション時刻に対応付けられて登録される。また、シミュレーションデータ６２は予め定められた周期で生成される。図７の例では、設備機器１０が風車である場合のシミュレーションデータ６２として、１秒周期の風速、電流、温度の各データが生成されているが、これらの項目はそれぞれの設備機器１０を模擬した物理モデルによって項目構成が異なっていてもよい。
【００６３】
異常情報６３には、物理モデル上で設定した故障モードの内容が、その発生時刻に対応付けられて登録される。
【００６４】
図７では、物理モデルに基づく、シミュレーションデータ６２、異常情報６３を異常模擬データ６０に登録しているが、実稼動データにオフセット値やノイズを入れた加工データや、設備機器１０の構成部品を意図的に劣化・故障をさせた実験データなどを、シミュレーションデータ６２に代えて異常模擬データ６０に登録してもよい。加工データを用いる場合は、ユーザが適当な数値を生成するだけで簡易に用意できるという利点がある反面、物理モデルを利用する場合に比べ異常模擬データ６０としての品質が低くなり、また、実験データを用いる場合は、物理モデルを利用する場合に比べ異常模擬データ６０としての品質が高い反面、それを取得するまでの作業が煩雑となる。このような特性を踏まえ、データ生成部４に適切な異常模擬データ６０を生成させることができる。
【００６５】
図８は、図１のデータ生成部４に予め記憶されている、異常模擬データ６０を生成するためのデータ生成情報７０の構成例を示した図である。ここに示すように、データ生成情報７０は、ヘッダ情報７１、部品仕様７２、構成図７３、生成条件７４などの情報を含んで構成される。
【００６６】
ヘッダ情報７１には、「データ種類」「カテゴリ」、「機種」、「ID」、「異常模擬データID」などの情報を含んで構成される。「カテゴリ」、「機種」、「ID」は、図３のマシンデータ２１から得られるデータである。また、「データ種類」は、異常模擬データ６０の根拠を示す情報が登録される。図８の例では、物理モデルを利用して異常模擬データ６０を生成する状況であるため、「データ種別」には「物理モデルシミュレーションデータ」が登録されているが、加工データや実験データを基に異常模擬データ６０を生成する場合は、「データ種別」にその旨を登録すればよい。
【００６７】
部品仕様７２には、異常を模擬する対象あるいは対象に係わる部品の仕様や性能が設定される。図８の例では、風車の「電磁ブレーキ」の重量、長さ、高さ、径、電圧、電流が設定されている。この部品仕様７２には部品の仕様書そのものを含んで構成されていてもよい。
【００６８】
構成図７３には、部品仕様７２の部品の外観や構成などの情報が設定される。図８の例では、風車の電磁ブレーキの模式図が表示されている。
【００６９】
生成条件７４には、「データ生成項目」、「故障条件」、「データ周期」、「データ生成時間」などの情報を含んで構成される。
【００７０】
「データ生成項目」には、本実施例の異常検知技術に用いられる１つ以上のセンサまたはセンサから得られるデータの名称が設定される。図８の例では、風速、電流、温度が設定されている。
【００７１】
「故障条件」には、故障モードの内容と故障モードが発生する条件が設定される。図８の例では、風速が20m/s以上の場合に部品故障１が発生することを示している。また、故障条件には故障モードが発生する時間などを設定してもよい。
【００７２】
「データ周期」、「データ生成時間」には、それぞれデータを生成する周期と時間が設定される。図８の例では、風速、電流、温度のデータが1秒周期で24時間分生成されることを示している。
【００７３】
データ生成部４では、図８のデータ生成情報７０に従い、図７のシミュレーションデータ６２、異常情報６３が生成され、これらを含む異常模擬データ６０が評価データとして識別モデルチェック部３へ送られる。
【００７４】
図９は、識別モデル学習部２での学習開始前に、図１の通知部５に表示される、学習データ設定画面８０の構成例を示した図である。ここに示すように、学習データ設定画面８０は、学習データ選択画面８０ａ、学習データ８０ａ１、データ参照ボタン８０ａ２、学習ボタン８０ａ３、学習データ参照画面８０ｂ、ヘッダ情報８０ｂ１、学習情報８０ｂ２、データ設定ボタン８０ｂ３、データ出力ボタン８０ｂ４、データ生成ボタン８０ｂ５などを含んで構成される。
【００７５】
ユーザ１５は、学習データ選択画面８０ａを介して、学習データ８０ａ１の中から任意の学習データを選択できる。図９の例では、学習データをラジオボタンで選択できるようになっているが、チェックボックスなどで選択できるようにしてもよい。また、データ参照ボタン８０ａ２を押すことで、選択した学習データ８０ａ１の学習データ参照画面８０ｂを操作することができる。ここで、学習データ参照画面８０ｂのヘッダ情報８０ｂ１、学習情報８０ｂ２は図４の識別モデル学習情報３０から得られる情報である。ユーザ１５は学習ボタン８０ａ３を押すことで、選択した学習データ８０ａ１を学習情報８０ｂ２の条件で機械学習を実行し、識別モデルを生成することができる。
【００７６】
また、ユーザ１５は、学習データ参照画面８０ｂを介して、データ設定ボタン８０ｂ３を押すことで、学習情報８０ｂ２の「センサ選択」、「運転モード選択」、「前処理」、「診断アルゴリズム」、「パラメータ」、「学習期間」の内容を自由に編集できる。編集した内容は新たな学習データの設定として図４の識別モデル学習情報３０が作成され、保持される。データ出力ボタン８０ｂ４を押すことで、学習データである図３の実稼動データ２０あるいは図７の異常模擬データ６０を出力することができる。ただし、データが無い場合には空白もしくはエラー画面などを表示する。さらに、データ生成ボタン８０ｂ５を押すことで、図１０の生成データ設定画面８１を表示することができる。
【００７７】
図１０は、識別モデル学習部２での学習実行後に、図１の通知部５で表示される、生成データ設定画面８１の構成例を示した図である。ここに示すように、生成データ設定画面８１は、生成データ選択画面８１ａ、生成データ８１ａ１、データ情報ボタン８１ａ２、生成ボタン８１ａ３、生成データ情報画面８１ｂ、ヘッダ情報８１ｂ１、部品仕様８１ｂ２、構成図８１ｂ３、生成条件８１ｂ４、データ設定ボタン８１ｂ５などを含んで構成される。
【００７８】
ユーザ１５は、生成データ選択画面８１ａを介して、生成データ８１ａ１の中から任意の生成データを選択できる。図１０の例では、生成データをラジオボタンで選択できるようになっているが、チェックボックスなどで選択できるようにしてもよい。また、データ情報ボタン８１ａ２を押すことで、選択した生成データ８１ａ１の生成データ情報画面８１ｂを操作することができる。ここで、生成データ情報画面８１ｂのヘッダ情報８１ｂ１、部品仕様８１ｂ２、構成図８１ｂ３は図８のデータ生成情報７０から得られる情報である。ユーザ１５は生成ボタン８１ａ３を押すことで、選択した生成データ８１ａ１を生成条件８１ｂ４の条件で生成することができる。
【００７９】
また、ユーザ１５は生成データ情報画面８１ｂを介して、データ設定ボタン８１ｂ５を押すことで、生成条件８１ｂ４の「データ生成項目」、「故障条件」、「データ周期」、「データ生成時間」の内容を自由に編集できる。編集した内容は新たな生成データの設定として図８のデータ生成情報７０が作成され、保持される。
【００８０】
図１１は、識別モデルチェック部３での識別モデル評価前に、図１の通知部５で表示される、評価データ設定画面８２の構成例を示した図である。ここに示すように、評価データ設定画面８２は、評価データ選択画面８２ａ、評価データ８２ａ１、データ参照ボタン８２ａ２、評価ボタン８２ａ３、評価データ参照画面８２ｂ、ヘッダ情報８２ｂ１、評価情報８２ｂ２、データ設定ボタン８２ｂ３、データ出力ボタン８２ｂ４、データ生成ボタン８２ｂ５などを含んで構成される。
【００８１】
ユーザ１５は、評価データ選択画面８２ａを介して、評価データ８２ａ１の中から任意の評価データを選択できる。図１１の例では評価データをラジオボタンで選択できるようになっているが、チェックボックスなどで選択できるようにしてもよい。また、データ参照ボタン８２ａ２を押すことで、選択した評価データ８２ａ１の評価データ参照画面８２ｂを操作することができる。ここで、評価データ参照画面８２ｂのヘッダ情報８２ｂ１、評価情報８２ｂ２は図５の識別モデルチェック情報４０から得られる情報である。ユーザ１５は評価ボタン８２ａ３を押すことで、選択した評価データ８２ａ１を評価情報８２ｂ２の条件で評価することができる。
【００８２】
また、ユーザ１５は評価データ参照画面８２ｂを介して、データ設定ボタン８２ｂ３を押すことで、評価情報８２ｂ２の「診断期間」、「後処理」の内容を自由に編集できる。編集した内容は新たな評価データの設定として図５の識別モデルチェック情報４０が作成され、保持される。データ出力ボタン８２ｂ４を押すことで、評価データである図３の実稼動データ２０あるいは図７の異常模擬データ６０を出力することができる。ただし、データが無い場合には空白もしくはエラー画面などを表示する。さらに、データ生成ボタン８２ｂ５を押すことで、図１０の生成データ設定画面８１を表示することができる。ただし、この生成データ設定画面８１は図９の学習データ設定画面８０から呼び出した生成データ設定画面８１とは区別する。
【００８３】
図１２は、識別モデルチェック部３での識別モデル評価後に、図１の通知部５で表示される、検知性能評価画面８３の構成例を示した図である。ここに示すように、検知性能評価画面８３は、評価結果設定画面８３ａ、識別モデル名称入力欄８３ａ１、評価データID入力欄８３ａ２、後処理範囲入力欄８３ａ３、追加ボタン８３ａ４、表示ボタン８３ａ５、評価結果表示画面８３ｂ、異常発生リスト８３ｂ１、評価結果８３ｂ２、グラフ表示ボタン８３ｂ３、ROC曲線表示ボタン８３ｂ４、AUC値表示ボタン８３ｂ５などを含んで構成される。
【００８４】
ユーザ１５は、評価結果設定画面８３ａを介して、識別モデル名称入力欄８３ａ１、評価データID入力欄８３ａ２に規定の名称を入力でき、後処理範囲入力欄８３ａ３に任意の値を設定できる。また、追加ボタン８３ａ４を押すことで、後処理範囲入力欄８３ａ３のパラメータを追加することができる。ユーザ１５は表示ボタン８３ａ５を押すことで評価結果表示画面８３ｂを操作することができる。
【００８５】
また、ユーザ１５は評価結果表示画面８３ｂを介して、異常発生リスト８３ｂ１、評価結果８３ｂ２を確認することができる。ここで、異常発生リスト８３ｂ１と評価結果８３ｂ２は図６の検知性能評価情報５０から得られる情報である。さらに、グラフ表示ボタン８３ｂ３を押すことで、異常発生リスト８３ｂ１の情報をもとに、縦軸を異常度、横軸を日時としたグラフを表示できる。また、ROC曲線表示ボタン８３ｂ４を押すことで、評価結果８３ｂ２に基づくROC曲線を表示することができ(図６参照)、AUC値表示ボタン８３ｂ５を押すことで、ROC曲線のAUC値を表示することができる。そして、表示された評価結果８３ｂ２やROC曲線５３を参照することで、ユーザ１５は、採用する識別モデルや異常度の閾値を決定することができる。
【００８６】
図１３は、実施例１の異常検知システムでの処理動作例を示すフローチャートである。まず、ステップＳ１にて、学習データ入力部１は、学習データを識別モデル学習部２へ入力する。続いて、ステップＳ２にて、識別モデル学習部２は、学習データを用いて機械学習を行い、識別モデルを作成し、識別モデルチェック部３へ入力する。次に、ステップＳ３にて、識別モデルチェック部３は、実稼動データ２０を用いて識別モデルの検知性能を評価する。ステップＳ４にて、識別モデルチェック部３またはユーザ１５は、実稼動データ２０が不足しているかを判断する。不足している場合には、ステップＳ５に移行し、不足していない場合にはステップＳ７に移行する。ステップＳ５では、データ生成部４は、異常模擬データ６０を作成し、識別モデルチェック部３へ入力する。その後、ステップＳ６にて、識別モデルチェック部３は、異常模擬データ６０を用いて識別モデルの検知性能を評価する。最後に、ステップＳ７にて、通知部５は、検知性能の評価結果をユーザ１５に通知する。
【００８７】
このように、実稼動データの不足を異常模擬データで補完できるようにすることで、ユーザ１５は、識別モデルの検知性能のより正確な評価結果を知得できるため、設備機器１０の異常を検知する上で最適な識別モデルを選択し、状態監視装置１１に登録することができる。
【００８８】
以上、本実施例によれば、異常検知性能評価装置１２を操作するシステムエンジニア等のユーザ１５は、設備機器１０の異常検知技術の主要部である識別モデルを開発することが容易になる。とくに、識別モデルの検知性能の確認が容易になるため、より信頼性の高い識別モデルの選択が可能になる。そして、このようにして選択された識別モデルを利用することで、設備機器１０の構成部品等の異常をより早く、より正確に検知できるため、結果的に、常時稼働が求められる風車のような設備機器１０の稼動の停止時間を大きく抑制することができるようになる。
【実施例２】
【００８９】
次に、本発明の実施例２について説明する。実施例２の異常検知システムは、設備機器１０の実稼動データ２０と異常模擬データ６０のそれぞれを用いて識別モデルの検知性能を評価し、両方の評価結果を重み付けした最終評価結果をユーザに通知することによって、最適な識別モデルの選択を促すものである。以下では、実施例１との共通点の重複説明は省略し、異なる点について説明することとする。
【００９０】
本実施例の異常検知システムも、基本的には実施例１の図２と同様の構成であり、状態監視装置１１から実稼動データ２０が入力され、入力された実稼動データ２０から識別モデルを作成し、作成した識別モデルで評価用の学習データが適正かを識別するものである。
【００９１】
図１４は、実施例２での処理動作例を示すフローチャートである。まず、ステップＳ１０にて、学習データ入力部１は、学習データを識別モデル学習部２へ入力する。続いて、ステップＳ２０にて、識別モデル学習部２は、学習データを用いて機械学習を行い、識別モデルを作成し、識別モデルチェック部３へ入力する。次に、ステップＳ３０にて、識別モデルチェック部３は、実稼動データ２０と異常模擬データ６０それぞれを用いて識別モデルの検知性能を評価する。ステップＳ４０にて、識別モデルチェック部３またはユーザ１５は、異常模擬データ６０が不足しているかを判断する。不足している場合には、ステップＳ５０に移行し、不足していない場合にはステップＳ７０に移行する。ステップＳ５０では、データ生成部４は、異常模擬データ６０を更に作成し、識別モデルチェック部３へ入力する。その後、ステップＳ６０にて、識別モデルチェック部３は、追加した異常模擬データ６０を用いて識別モデルの検知性能を評価する。次に、ステップＳ７０にて二種類の評価結果を重み付けして最終評価を行う。最後に、ステップＳ８０にて、通知部５は、検知性能の最終評価をユーザ１５に通知する。
【００９２】
実施例２は、ステップＳ３０に示すように、識別モデルの検知性能の評価を実稼動データ２０と異常模擬データ６０それぞれを用いて行い、ステップＳ７０、Ｓ８０に示すように、二種類の評価結果を重み付けした最終評価をユーザに通知することによって、最適な識別モデルの選択を促すものである。実施例１では、実稼動データ２０の代わりに異常模擬データ６０を用いて評価データとしていたが、同じ異常、故障を想定した評価データであっても、環境や条件の違いにより異なる評価データが必要とされる場合がある。実施例２では、同じ異常、故障に対し、環境や条件の違いを踏まえた適切な異常模擬データ６０を提供することができるため、当初用意した異常模擬データ６０が想定しない環境下や条件下においても、本発明の効果を発揮することができる。
【００９３】
図１５は、ステップＳ７０で評価結果を重み付けする際に、図１の通知部５で表示される、評価結果重み付け画面８４の例を示した図である。ここに示すように、評価結果重み付け画面８４は、出力値設定画面８４ａ、識別モデル名称入力欄８４ａ１、評価データ入力欄８４ａ２、出力値入力欄８４ａ３、追加ボタン８４ａ４、出力ボタン８４ａ５、出力結果表示画面８４ｂ、データ種類８４ｂ１、出力値８４ｂ２、重み付けボタン８４ｂ３、重み付け設定画面８４ｃ、重み８４ｃ１、評価値８４ｃ２、データ種類数８４ｃ３、計算式表示画面８４ｃ４、評価ボタン８４ｃ５などを含んで構成される。
【００９４】
ユーザ１５は、出力値設定画面８４ａを介して、識別モデル名称入力欄８４ａ１、評価データ入力欄８４ａ２、出力値入力欄８４ａ３に任意の値を設定できる。図１５の例では、出力値入力欄８４ａ３の値はAUC分散としたが、データ数、サンプル数、SN比などでもよい。また、追加ボタン８４ａ４を押すことで、出力値入力欄８４ａ３の項目を追加することができる。出力値を決定した後、ユーザ１５は、出力ボタン８４ａ５を押すことで出力結果表示画面８４ｂを起動する。
【００９５】
そして、ユーザ１５は、出力結果表示画面８４ｂを介して、データ種類８４ｂ１、出力値８４ｂ２を確認できる。ここで、データ種類８４ｂ１と出力値８４ｂ２は、評価データ入力欄８４ａ２と出力値入力欄８４ａ３の入力に基づいて演算された情報であり、図１５の例では、実稼動データに基づくAUC分散σ１２、物理モデルシミュレーションデータに基づくAUC分散σ２２、実験データに基づくAUC分散σ３２、加工データに基づくAUC分散σ４２の四種類の出力値８４ｂ２が表示されている。そして、重み付けボタン８４ｂ３を押すことで、出力値８４ｂ２の値をもとに評価値の重み付けをすることができる。図１５の重み付け設定画面８４ｃでは、重み８４ｃ１を「AUC分散」、評価値８４ｃ２を「AUC値」、データ種類数８４ｃ３を「４」としており、その場合の計算式が計算式表示画面８４ｃ４に出力されている。
【００９６】
ユーザ１５は、評価ボタン８４ｃ５を押すことで、計算式表示画面８４ｃ４に出力される計算式で評価値８４ｃ２の重み付けを行い、その重み付け平均を最終評価としてユーザ１５に通知する。
【００９７】
このようにして、ユーザ１５は、通知部５を介して、複数の検知性能の評価結果を重み付けした最終評価を知得でき、設備機器１０の異常を検知する上で最適な識別モデルを選択することができる。
【００９８】
以上、本実施例によれば、異常検知性能評価装置１２を操作するシステムエンジニア等のユーザ１５は、実施例１と同様に、設備機器１０の異常検知技術の主要部である識別モデルを開発することが容易になる。とくに、本実施例では、各識別モデルの検知性能を評価する際に、複数の評価結果を重み付けして利用するため、このような処理を行わない実施例１に比べ、より信頼性の高い識別モデルの選択が可能になる。
【００９９】
なお、前記の実施例１、実施例２は本発明を実施するにあたっての具体化の一例であり、本発明の技術的範囲が限定されるものではない。すなわち、本発明はその技術、思想、特徴から逸脱することなく、様々な形態で実施することができる。
【符号の説明】
【０１００】
１  学習データ入力部
２  識別モデル学習部
３  識別モデルチェック部
４  データ生成部
５  通知部
１０  設備機器
１１  状態監視装置
１２  異常検知性能評価装置
１３  保守員
１４  監視員
１５  ユーザ
２０  実稼動データ
２１  マシンデータ
２２  センサデータ
２３  アラームデータ
３０  識別モデル学習情報
３１  ヘッダ情報
３２  学習情報
４０  識別モデルチェック情報
４１  ヘッダ情報
４２  学習情報
４３  評価情報
５０  検知性能評価情報
５１  異常発生リスト
５２  閾値評価表
５３  ROC曲線
６０  異常模擬データ
６１  マシンデータ
６２  シミュレーションデータ
６３  異常情報
７０  データ生成情報
７１  ヘッダ情報
７２  部品仕様
７３  構成図
７４  生成条件
８０  学習データ設定画面
８０ａ  学習データ選択画面
８０ａ１  学習データ
８０ａ２  データ参照ボタン
８０ａ３  学習ボタン
８０ｂ  学習データ参照画面
８０ｂ１  ヘッダ情報
８０ｂ２  学習情報
８０ｂ３  データ設定ボタン
８０ｂ４  データ出力ボタン
８０ｂ５  データ生成ボタン
８１  生成データ設定画面
８１ａ  生成データ選択画面
８１ａ１  生成データ
８１ａ２  データ情報ボタン
８１ａ３  生成ボタン
８１ｂ  生成データ情報画面
８１ｂ１  ヘッダ情報
８１ｂ２  部品仕様
８１ｂ３  構成図
８１ｂ４  生成条件
８１ｂ５  データ設定ボタン
８２  評価データ設定画面
８２ａ  評価データ選択画面
８２ａ１  評価データ
８２ａ２  データ参照ボタン
８２ａ３  評価ボタン
８２ｂ  評価データ参照画面
８２ｂ１  ヘッダ情報
８２ｂ２  評価情報
８２ｂ３  データ設定ボタン
８２ｂ４  データ出力ボタン
８２ｂ５  データ生成ボタン
８３  検知性能評価画面
８３ａ  評価結果設定画面
８３ａ１  識別モデル名称入力欄
８３ａ２  評価データID入力欄
８３ａ３  後処理範囲入力欄
８３ａ４  追加ボタン
８３ａ５  表示ボタン
８３ｂ  評価結果表示画面
８３ｂ１  異常発生リスト
８３ｂ２  評価結果
８３ｂ３  グラフ表示ボタン
８３ｂ４  ROC曲線表示ボタン
８３ｂ５  AUC値表示ボタン
８４  評価結果重み付け画面
８４ａ  出力値設定画面
８４ａ１  識別モデル名称入力欄
８４ａ２  評価データ入力欄
８４ａ３  出力値入力欄
８４ａ４  追加ボタン
８４ａ５  出力ボタン
８４ｂ  出力結果表示画面
８４ｂ１  データ種類
８４ｂ２  出力値
８４ｂ３  重み付けボタン
８４ｃ  重み付け設定画面
８４ｃ１  重み
８４ｃ２  評価値
８４ｃ３  データ種類数
８４ｃ４  計算式表示画面
８４ｃ５  評価ボタン
【図１】
2019133212.tif 000003
【図２】
2019133212.tif 000004
【図３】
2019133212.tif 000005
【図４】
2019133212.tif 000006
【図５】
2019133212.tif 000007
【図６】
2019133212.tif 000008
【図７】
2019133212.tif 000009
【図８】
2019133212.tif 000010
【図９】
2019133212.tif 000011
【図１０】
2019133212.tif 000012
【図１１】
2019133212.tif 000013
【図１２】
2019133212.tif 000014
【図１３】
2019133212.tif 000015
【図１４】
2019133212.tif 000016
【図１５】
2019133212.tif 000017