(57)【要約】【課題】学習モデルの生成を支援する情報を提供する。【解決手段】学習モデル生成支援装置は、学習モデルの生成に利用可能な特徴の夫々について、生成済みの学習モデルの生成に利用した特徴である利用特徴の学習期間における夫々の時系列データを学習データとして、夫々の時系列データの変化の度合いを示す値である変化スコアを生成する変化検知モデルを生成し、複数の特徴の夫々の変化検知モデルに夫々の新たな時系列データを入力することにより、新たな期間おける複数の特徴の夫々の変化スコアである個別変化スコアを求め、複数の特徴の夫々の個別変化スコアに基づき、新たな期間おける複数の特徴の全体としての変化の度合いを示す値である全体変化スコアを求め、複数の特徴の夫々の個別変化スコアに基づき、全体変化スコアに寄与する特徴である寄与特徴を特定する。【選択図】図１
2020144493.tif 000002
【特許請求の範囲】
【請求項１】
学習モデルの生成を支援する情報処理装置であって、
学習モデルの生成に利用可能な特徴の時系列データを記憶する記憶部、
前記特徴の夫々について、生成済みの前記学習モデルの生成に利用した前記特徴である利用特徴の学習期間における夫々の時系列データを学習データとして、夫々の前記時系列データの変化の度合いを示す値である変化スコアを生成する機械学習モデルである変化検知モデルを生成する、変化検知モデル生成部、
複数の前記特徴の夫々について、新たな期間の時系列データを取得するデータ取得部、
前記複数の特徴の夫々の前記変化検知モデルに夫々の前記新たな時系列データを入力することにより、前記新たな期間おける前記複数の特徴の夫々の前記変化スコアである個別変化スコアを求める個別変化スコア算出部、
前記複数の特徴の夫々の前記個別変化スコアに基づき、前記新たな期間おける前記複数の特徴の全体としての変化の度合いを示す値である全体変化スコアを求める、全体変化スコア算出部、
前記複数の特徴の夫々の前記個別変化スコアに基づき、前記全体変化スコアに寄与する前記特徴である寄与特徴を特定する、寄与特徴特定部、
を備える、学習モデル生成支援装置。
【請求項２】
請求項１に記載の学習モデル生成支援装置であって、
前記個別変化スコア算出部は、前記複数の特徴の夫々について、夫々の前記変化検知モデルに前記学習期間における夫々の時系列データを入力することにより、前記学習期間における前記個別変化スコアの最大値を求め、
前記全体変化スコア算出部は、前記複数の特徴の夫々について、夫々の前記新たな期間おける前記個別変化スコアを夫々の前記最大値と比較し、前記個別変化スコアが前記最大値以上の前記特徴の数が多いほど値が大きくなるように前記全体変化スコアを求める、
学習モデル生成支援装置。
【請求項３】
請求項２に記載の学習モデル生成支援装置であって、
前記寄与特徴特定部は、前記個別変化スコアが前記最大値以上である前記特徴を前記寄与特徴として特定する、
学習モデル生成支援装置。
【請求項４】
請求項２に記載の学習モデル生成支援装置であって、
前記変化検知モデル生成部は、時系列データの変化を検知するアルゴリズムである「Change Finder」を用いて前記変化検知モデルを生成する、
学習モデル生成支援装置。
【請求項５】
請求項１に記載の学習モデル生成支援装置であって、
前記個別変化スコア算出部は、前記複数の特徴の夫々について、前記学習期間における前記時系列データの態様と前記新たな期間における時系列データの態様との間の類似度が予め設定された閾値以上であるか否かに基づき前記個別変化スコアを求め、
前記全体変化スコア算出部は、前記類似度が前記閾値未満である特徴の数が多いほど値が大きくなるように前記変化スコアを求める、
学習モデル生成支援装置。
【請求項６】
請求項５に記載の学習モデル生成支援装置であって、
前記寄与特徴特定部は、前記類似度が前記閾値未満である前記特徴を前記寄与特徴として特定する、
学習モデル生成支援装置。
【請求項７】
請求項５に記載の学習モデル生成支援装置であって、
前記変化検知モデル生成部は、時系列データの変化を検知するアルゴリズムである「One Class SVM」を用いて前記変化検知モデルを生成する、
学習モデル生成支援装置。
【請求項８】
請求項１に記載の学習モデル生成支援装置であって、
前記個別変化スコア算出部は、
前記学習モデルの生成に用いた前記学習データの量が予め設定された閾値未満である場合は、前記複数の利用可能な特徴のうち前記学習モデルの生成に利用されていない特徴である未利用特徴について、夫々の前記変化検知モデルに夫々の前記新たな時系列データを入力することにより前記個別変化スコアを求め、
前記学習モデルの生成に用いた前記学習データの量が前記閾値以上である場合は、前記未利用特徴及び前記利用特徴の双方について、夫々の前記変化検知モデルに夫々の前記新たな時系列データを入力することにより前記個別変化スコアを求める、
学習モデル生成支援装置。
【請求項９】
請求項１に記載の学習モデル生成支援装置であって、
前記全体変化スコアに関する情報及び前記寄与特徴に関する情報を出力する支援情報提示部をさらに備える、
学習モデル生成支援装置。
【請求項１０】
請求項９に記載の学習モデル生成支援装置であって、
その時系列データの前記寄与特徴の新たな時系列データとの間の相関係数が予め設定された閾値以上である前記利用可能な特徴である相関特徴を特定する相関特徴特定部を更に備え、
前記支援情報提示部は、前記相関特徴に関する情報を出力する、
学習モデル生成支援装置。
【請求項１１】
請求項１０に記載の学習モデル生成支援装置であって、
前記支援情報提示部は、前記全体変化スコアの時系列データ、前記寄与特徴の時系列データ、及び前記相関特徴の時系列データを出力する、
学習モデル生成支援装置。
【請求項１２】
請求項９に記載の学習モデル生成支援装置であって、
前記変化検知モデル生成部は、時系列データの変化を検知する複数のアルゴリズムの夫々に基づき複数の前記変化検知モデルを生成し、
前記支援情報提示部は、前記アルゴリズムの指定を受け付け、指定された前記アルゴリズムに基づく前記変化検知モデルによる前記全体変化スコアに関する情報と前記寄与特徴に関する情報とを出力する、
学習モデル生成支援装置。
【請求項１３】
請求項１に記載の学習モデル生成支援装置であって、
前記学習モデルの性能が予め設定された基準を満たしているか否かを評価する学習モデル性能検証部と、
前記学習モデルの性能が前記基準を満たしていない場合に、前記個別変化スコア算出部による前記個別変化スコアの算出処理と、前記全体変化スコア算出部による前記全体変化スコアの算出処理を実行する、実行制御部と、
を更に備える、
学習モデル生成支援装置。
【請求項１４】
請求項８に記載の学習モデル生成支援装置であって、
前記利用可能な特徴の時系列データを提供する情報処理装置であるデータ提供装置と通信可能に接続する通信部と、
前記利用可能な特徴を前記データ提供装置から受信するデータ取得部と、
前記データ取得部は、
前記個別変化スコア算出部による前記個別変化スコアの算出に先立ち、前記未利用特徴の送信要求を前記データ提供装置に送信し、
前記個別変化スコア算出部による前記個別変化スコアの算出後に、前記未利用特徴の送信停止要求を前記データ提供装置に送信する、
学習モデル生成支援装置。
【請求項１５】
学習モデルの生成を支援する方法であって、
情報処理装置が、
学習モデルの生成に利用可能な特徴の時系列データを記憶するステップ、
前記特徴の夫々について、生成済みの前記学習モデルの生成に利用した前記特徴である利用特徴の学習期間における夫々の時系列データを学習データとして、夫々の前記時系列データの変化の度合いを示す値である変化スコアを生成する機械学習モデルである変化検知モデルを生成するステップ、
複数の前記特徴の夫々について、新たな期間の時系列データを取得するステップ、
前記複数の特徴の夫々の前記変化検知モデルに夫々の前記新たな時系列データを入力することにより、前記新たな期間おける前記複数の特徴の夫々の前記変化スコアである個別変化スコアを求めるステップ、
前記複数の特徴の夫々の前記個別変化スコアに基づき、前記新たな期間おける前記複数の特徴の全体としての変化の度合いを示す値である全体変化スコアを求めるステップ、
前記複数の特徴の夫々の前記個別変化スコアに基づき、前記全体変化スコアに寄与する前記特徴である寄与特徴を特定するステップ、
を実行する、学習モデル生成支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習モデル生成支援装置、及び学習モデル生成支援方法に関する。
【背景技術】
【０００２】
特許文献１には、モデルを用いて所定の対象を適切に予測することを目的として構成された予測モデルの更新装置について記載されている。更新装置は、取得部と更新部とを有する。取得部は、所定の対象を予測する予測モデルに関する情報を取得し、更新部は、所定の条件を満たす場合に取得部により取得された予測モデルを更新する。また更新部は、所定の組合情報に対応する予測モデルが所定の条件を満たす場合に当該予測モデルの重みを再計算することにより当該予測モデルを更新する。
【０００３】
非特許文献１には、データストリームからの異常値と変化点を検出する技術に関し、その性質が時間の経過とともに変化するデータソースを追跡するオンライン割引学習アルゴリズムを用いてデータソースの確率論的モデルを学習する技術に関して記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１５１８６７号公報
【非特許文献】
【０００５】
【非特許文献１】A Unifying Framework for Detecting Outliers and Change Points from Time Series, IEEE Transactions on Knowledge and Data Engineering archive Volume 18 Issue 4, April 2006,Pages 482-492
【発明の概要】
【発明が解決しようとする課題】
【０００６】
昨今、製品の製造現場においては、生産効率改善等を目的としてＩｏＴ（Internet of Things）の導入が推進されており、製品の良品／不良品の分類や装置の故障予知等への機械学習を応用した技術の活用が進められている。こうした機械学習においては、製造現場に設けられたセンサ装置等のデータ取得装置から様々な特徴についての学習データを取得し、取得した学習データに基づき学習モデルが生成（学習）される。そして生成された学習モデルに製造現場で新たに取得されるデータを入力することにより分類結果や予測結果等の情報を取得し、取得した情報を用いて製品の生産が進められる。
【０００７】
ところで、学習モデルの性能（例えば分類精度や予測精度）はその生成に用いた特徴に依存し、学習に用いる特徴の選出は学習モデルの性能を確保する上で重要な作業である。また学習モデルを使い続けるうちに現場の状況変化等によって学習モデルの性能が低下することがあり、学習モデルに用いる特徴は随時見直しを行い、必要であれば学習モデルを生成し直す（更新する）必要がある。また学習モデルの利用現場において検討対象となる特徴の数は通常は膨大であるため、特徴は効率よく適切に選出する必要もある。
【０００８】
特許文献１には、予測モデルの重みを再計算することにより予測モデルを更新することが記載されている。しかし特許文献１に記載の更新装置は、予測モデルの更新時においても最初に生成された学習モデルに利用された特徴が考慮されるに過ぎず、例えば、最初に生成された学習モデルの生成に用いた特徴以外の特徴の変化が原因で学習モデルの性能が低下する場合に対応することができない。
【０００９】
非特許文献１には、複数の特徴の時系列データを入力として、特徴全体としての変化や個々の特徴の変化を検知する技術について記載されている。しかし非特許文献１に記載の技術は特徴全体としての変化に寄与する個々の特徴を特定することができない。例えば、学習モデルの利用現場においては、学習モデルの更新に際し、何故学習モデルを更新する必要があるのか、現場に生じたどのような原因を理由として学習モデルを更新するのか等の情報を詳細に把握したいというニーズがあるが、非特許文献１に記載の技術はこうしたニーズに対応することができない。
【００１０】
本発明はこのような背景に基づきなされたものであり、学習モデルの生成を支援する情報を提供することが可能な、学習モデル生成支援装置、及び学習モデル生成支援方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明の一つは、学習モデルの生成を支援する情報処理装置であって、学習モデルの生成に利用可能な特徴の時系列データを記憶する記憶部、前記特徴の夫々について、生成済みの前記学習モデルの生成に利用した前記特徴である利用特徴の学習期間における夫々の時系列データを学習データとして、夫々の前記時系列データの変化の度合いを示す値である変化スコアを生成する機械学習モデルである変化検知モデルを生成する、変化検知モデル生成部、複数の前記特徴の夫々について、新たな期間の時系列データを取得するデータ取得部、前記複数の特徴の夫々の前記変化検知モデルに夫々の前記新たな時系列データを入力することにより、前記新たな期間おける前記複数の特徴の夫々の前記変化スコアである個別変化スコアを求める個別変化スコア算出部、前記複数の特徴の夫々の前記個別変化スコアに基づき、前記新たな期間おける前記複数の特徴の全体としての変化の度合いを示す値である全体変化スコアを求める、全体変化スコア算出部、前記複数の特徴の夫々の前記個別変化スコアに基づき、前記全体変化スコアに寄与する前記特徴である寄与特徴を特定する、寄与特徴特定部、を備える。
【００１２】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１３】
本発明によれば、学習モデルの生成を支援する情報を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】機械学習システムの概略的な構成を示す図である。
【図２】学習モデル生成支援装置のハードウェア構成例を示す図である。
【図３】学習データの一例である。
【図４】学習モデル情報の一例である。
【図５】変化検知モデル情報の一例である。
【図６】特徴変化関連情報の一例である。
【図７】学習モデル生成処理を説明するフローチャートである。
【図８】変化検知モデル生成処理を説明するフローチャートである。
【図９】全体変化スコア算出処理を説明するフローチャートである。
【図１０】全体変化スコアの算出方法を説明する図である。
【図１１】支援情報提示処理を説明するフローチャートである。
【図１２】支援情報提示画面の一例である。
【図１３】他の変化検知手法による変化検知モデルの生成方法を説明する図である。
【図１４】他の変化検知手法による変化検知モデルを用いた場合の変化検知モデル生成処理を説明するフローチャートである。
【図１５】他の変化検知手法による変化検知モデルを用いた場合の全体変化スコア算出処理を説明するフローチャートである。
【図１６】変化検知方法選択画面の一例である。
【図１７】学習モデル設定画面の一例である。
【図１８】時系列データ送信制御処理を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、実施形態について図面を参照しつつ説明する。以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。
【００１６】
以下に示す実施形態では、製品の製造現場に導入されている、製品の良品／不良品の分類や装置の故障予知等を行う機械学習システムを一例として説明する。上記機械学習システムにおいては、製造現場に設けられたセンサ等から取得される複数の特徴についての時系列データを学習データとして学習モデルが生成される。ここでこうした学習モデルの性能（分類精度や故障予知精度等）を恒常的に確保しつつ効率よく学習モデルを生成するには、学習モデルの生成に用いる特徴を容易かつ適切に選択できるようにする必要がある。そこで本実施形態で説明する学習モデル生成支援装置１００は、学習モデルの学習に用いる特徴の選択を支援する様々な情報（以下、「支援情報」と称する。）を提供する。
【００１７】
例えば、学習モデル生成支援装置１００は、各特徴の変化を検知するための機械学習のモデルである変化検知モデルを、所定の変化検知手法（「Change Finder」、「One Class
SVM」等）により生成し、生成した変化検知モデルを用いて各特徴の変化の度合いを示す値である個別変化スコアを求め、また求めた個別変化スコアに基づき、各特徴の全体的な変化の度合いを示す値である全体変化スコアを求め、個別変化スコアや全体変化スコアに関する情報を支援情報として提供する。
【００１８】
また学習モデル生成支援装置１００は、例えば、求めた全体変化スコアに寄与する特徴（以下、「寄与特徴」と称する。）に関する情報を支援情報として提供する。また学習モデル生成支援装置１００は、例えば、その時系列データの変化が寄与特徴と相関の高い、寄与特徴以外の他の特徴（以下、「相関特徴」と称する。）に関する情報を支援情報として提供する。
【００１９】
尚、上記支援情報の提供に際し、学習モデル生成支援装置１００は、学習に用いることが可能な特徴を、学習モデルの学習に利用した特徴であ利用特徴と学習モデルの学習に未利用の特徴である未利用特徴とに分類する。そして学習モデル生成支援装置１００は、学習モデルの学習に用いた学習データの量（時系列データの長さ（期間））が十分である（予め設定された閾値以上である）ときは、個別変化スコアや全体変化スコアの算出に未利用特徴のみを用い、学習モデルの学習に用いた学習データの量が不十分である（上記閾値未満である）ときは、個別変化スコアや全体変化スコアの算出に利用特徴と未利用特徴の双方を用いる。
【００２０】
図１に機械学習システム１の概略的な構成を示す。同図に示すように、機械学習システム１は、学習モデル生成支援装置１００とデータ提供装置３とを含む。これらの装置は通信ネットワーク５を介して互いに通信可能に接続されている。通信ネットワーク５は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット
、専用線、公衆通信網（公衆電話網、携帯電話網等）である。
【００２１】
データ提供装置３は、製造現場（環境）に設けられた各種のセンサ等から取得される時系列データを、通信ネットワーク５を介して学習モデル生成支援装置１００に随時送信する。尚、データ提供装置３としては、例えば、エッジコンピューティングにおけるエッジ側装置として機能するものが想定される。
【００２２】
学習モデル生成支援装置１００は、データ提供装置３から送られてくる時系列データを学習データとして用いて学習モデルを生成するとともに上記支援情報の提供を行う。
【００２３】
図２に、学習モデル生成支援装置１００やデータ提供装置３の実現に用いる情報処理装置のハードウェアの一例を示す。同図に示すように、例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。情報処理装置１０は、例えば、パーソナルコンピュータ、オフィスコンピュータ、メインフレーム等である。情報処理装置１０は、例えば、クラウドシステムにより提供されるクラウドサーバのように仮想的な情報処理資源を用いて実現されるものであってもよい。
【００２４】
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成されている。
【００２５】
主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。
【００２６】
補助記憶装置１３は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive
）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。
入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。
【００２７】
出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。以下では、出力装置１５は表示装置であるものとし、「出力」という場合は原則として「表示装置への表示」を意味するものとする。
【００２８】
通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信手
段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Bus）モジュール、シリアル通信モジュール等である。
【００２９】
学習モデル生成支援装置１００やデータ提供装置３の機能は、プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、これらの装置を構成するハードウェア（ＡＩチップ、ＦＰＧＡ、ＡＳＩＣ等）により実現される。
【００３０】
図１に示すように、学習モデル生成支援装置１００は、記憶部１１０、学習データ管理部１２０、学習モデル管理部１３０、及び支援情報出力部１４０の各機能を有する。尚、学習モデル生成支援装置１００は、上記の構成に加えて、例えば、デバイスドライバ、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）等をさらに備えていてもよい。
【００３１】
上記機能のうち、記憶部１１０は、主記憶装置１２や補助記憶装置１３、或いは通信装置１６を介して接続する外部の記憶装置等を記憶資源として用いることにより、学習データ１１１、学習モデル情報１１２、変化検知モデル情報１１３、及び特徴変化関連情報１１４の各情報を記憶する。記憶部１１０は、例えば、ＤＢＭＳにより管理されるテーブルやファイルシステムが管理するファイルとして上記の各情報を記憶する。
【００３２】
学習データ管理部１２０は、データ取得部１２１及びデータ更新部１２２の各機能を有する。このうちデータ取得部１２１は、データ提供装置３からの学習データ１１１（時系列データ）の取得（受信）に関する各種の処理を行う。またデータ取得部１２１は、データ提供装置３と通信することにより、データ提供装置３からの時系列データの提供（送信）を特徴毎に制御する機能を有する。データ更新部１２２は、学習データ１１１の内容の更新等の学習データ１１１に関する各種の処理を行う。
【００３３】
学習モデル管理部１３０は、学習モデルの生成（学習）や評価、学習モデルの管理等を行う。同図に示すように、学習モデル管理部１３０は、特徴選択部１３１、学習モデル生成部１３２、学習モデル性能検証部１３３、及び学習モデル情報管理部１３４の各機能を有する。
【００３４】
このうち特徴選択部１３１は、学習モデルの生成に用いる特徴の選択に関する処理を行う。学習モデル生成部１３２は、学習モデル情報１１２の生成に関する処理を行う。学習モデル性能検証部１３３は、学習モデルの性能（分類精度や故障予知精度等）が予め設定された基準を満たしているか否か評価に関する処理を行う。学習モデル情報管理部１３４は、学習モデル情報１１２の管理に関する処理を行う。
【００３５】
支援情報出力部１４０は、前述した変化検知モデルの生成、生成した変化検知モデルに基づく前述した個別変化スコアや全体変化スコアの算出や出力、前述した寄与特徴や相関特徴の特定や出力、前述した相関係数の出力等の処理を行う。同図に示すように、支援情報出力部１４０は、変化検知モデル生成部１４１、個別変化スコア算出部１４２、全体変化スコア算出部１４３、寄与特徴特定部１４４、相関特徴特定部１４５、情報出力部１４６、及び実行制御部１４７の各機能を有する。
【００３６】
このうち変化検知モデル生成部１４１は、変化検知モデルの生成に関する処理を行う。個別変化スコア算出部１４２は、個別変化スコアの算出に関する処理を行う。全体変化スコア算出部１４３は、全体変化スコアの算出に関する処理を行う。寄与特徴特定部１４４は、全体変化スコアに寄与する特徴である寄与特徴の特定に関する処理を行う。相関特徴特定部１４５は、寄与特徴に類似する特徴である相関特徴の特定に関する処理を行う。情報出力部１４６は、前述した支援情報である特徴変化関連情報１１４（全体変化スコア、寄与特徴、相関特徴、相関係数等）の生成や支援情報の提示に関する処理を行う。実行制御部１４７は、個別変化スコアの算出に関する処理や全体変化スコアの算出に関する処理について実行制御を行う。
【００３７】
図３に学習データ１１１の一例を示す。同図に示すように、学習データ１１１は、特徴ＩＤ１１１１及び学習データ１１１２の各項目を有する一つ以上のレコードを含む。学習データ１１１の一つのレコードは一つの特徴に対応している。特徴ＩＤ１１１１には、特
徴ごとに付与される識別子である特徴ＩＤが設定される。学習データ１１１２には、学習データの実体（時系列データ）が格納される。
【００３８】
図４に学習モデル情報１１２の一例を示す。学習モデル情報１１２には、学習モデルに関する情報が管理される。同図に示すように、学習モデル情報１１２は、学習モデルＩＤ１１２１、学習モデルパラメータ１１２２、利用特徴１１２３、学習データ量１１２４、性能検証情報１１２５、及び全体変化スコア１１２６の各項目を有する一つ以上のレコードを含む。学習モデル情報１１２の各レコードは、学習モデルＩＤ１１２１により特定される。
【００３９】
上記項目のうち、学習モデルＩＤ１１２１には、学習モデルの識別子である学習モデルＩＤが設定される。学習モデルパラメータ１１２２には、当該学習モデルのパラメータが設定される。利用特徴１１２３には、当該学習モデルの学習に利用した一つ以上の特徴（利用特徴）の特徴ＩＤが設定される。学習データ量１１２４には、当該学習モデルの学習に用いた学習データの量（例えば、時系列データの長さ）が十分か否か（学習データの量が予め設定された閾値以上か当該閾値未満か）を示す情報が設定される。本例では、学習データの量が十分であるときは「十分」が、十分でないときは「不十分」が、学習データ量１１２４に設定される。
【００４０】
性能検証情報１１２５は、全体変化スコアの算出に際し事前の当該学習モデルの性能の検証の要否を示す情報が設定される検証要否１１２５１と、上記要否の判定に用いる閾値である判定閾値が設定される判定閾値１１２５２の各項目を含む。
【００４１】
全体変化スコア１１２６には、全体変化スコア（本例では全体変化スコアの時系列データ）に関する情報、もしくは上記情報の格納先（リンク先）を示す情報が設定される。
【００４２】
図５に変化検知モデル情報１１３の一例を示す。変化検知モデル情報１１３には、変化検知モデルに関する情報が管理される。同図に示すように、変化検知モデル情報１１３は、学習モデルＩＤ１１３１、特徴ＩＤ１１３２、変化スコアタイプ１１３３、学習時利用有無１１３４、変化検知モデルＩＤ１１３５、及び変化検知モデルパラメータ１１３６の各項目を有する一つ以上のレコードを含む。変化検知モデル情報１１３の各レコードは、学習モデルＩＤ１１３１、特徴ＩＤ１１３２、及び変化スコアタイプ１１３３の組合せにより特定される。
【００４３】
上記項目のうち、学習モデルＩＤ１１３１には、学習モデルＩＤが設定される。特徴ＩＤ１１３２には、特徴ＩＤが設定される。変化スコアタイプ１１３３には、変化検知モデルの生成に用いる変化検知手法の種類を示す情報（「Change Finder」、「One Class SVM」等）である変化スコアタイプが設定される。学習時利用有無１１３４には、当該特徴が利用特徴であるか未利用特徴であるかを示す情報（本例では「利用」または「未利用」）が設定される。変化検知モデルＩＤ１１３５には、変化検知モデルの識別子である変化検知モデルＩＤが設定される。変化検知モデルパラメータ１１３６には、当該変化検知モデルのパラメータが設定される。
【００４４】
図６に特徴変化関連情報１１４の一例を示す。特徴変化関連情報１１４には、前述した特徴変化関連情報（全体変化スコア、寄与特徴、相関特徴、相関係数等）が設定される。同図に示すように、特徴変化関連情報１１４は、学習モデルＩＤ１１４１、特徴ＩＤ１１４２、変化スコアタイプ１１４３、及び関連情報１１４４（複数種類の関連情報♯１〜関連情報♯Ｍを含む）の各項目を有する一つ以上のレコードで構成される。特徴変化関連情報１１４の各レコードは、学習モデルＩＤ１１４１、特徴ＩＤ１１４２、及び変化スコアタイプ１１４３の組合せにより特定される。尚、本例では関連情報１１４４としてＭ種類
の情報を保持可能としているが、必ずしも全ての関連情報１１４４を用いなくてもよい。
【００４５】
上記項目のうち、学習モデルＩＤ１１４１には、学習モデルＩＤが設定される。特徴ＩＤ１１４２には特徴ＩＤが設定される。変化スコアタイプ１１４３には、変化スコアタイプが設定される。関連情報１１４４には、特徴変化関連情報が設定される。
【００４６】
続いて、学習モデル生成支援装置１００が行う各種の処理についてフローチャートとともに説明する。
【００４７】
図７は、学習モデルの生成に際し、学習モデル生成支援装置１００が行う処理（以下、学習モデル生成処理Ｓ７００と称する。）を説明するフローチャートである。以下、同図とともに学習モデル生成処理Ｓ７００について説明する。尚、学習モデルの生成には、生成済みの学習モデル（以下、「既存の学習モデル」とも称する。）が、データ提供装置３から取得した新たな期間の学習データ（時系列データ）を用いて更新される場合も含む。
【００４８】
同図に示すように、学習モデル管理部１３０の学習モデル生成部１３２は、学習モデルを生成するタイミングが到来したか否かを随時判定する（Ｓ７１１）。上記タイミングが到来したと判定すると（Ｓ７１１：ＹＥＳ）、学習モデル生成部１３２は、Ｓ７１２からの処理を行う。尚、上記タイミングは、例えば、学習モデル生成支援装置１００がユーザから学習モデルの生成指示を受け付けた場合に到来する。また上記タイミングは、例えば、学習データ管理部１２０が、データ提供装置３から新たな学習データ（所定期間分の時系列データ等）を取得した場合に到来する。
【００４９】
Ｓ７１２では、特徴選択部１３１が、学習モデルの生成に用いる特徴を選択する。上記の選択は、例えば、選択する特徴の特徴ＩＤを予め学習モデル生成支援装置１００に格納しておき、これを参照することにより行ってもよいし、例えば、学習データ１１１の内容を表示してユーザに選択させるようにしてもよい。尚、ユーザは、例えば、学習モデル生成支援装置１００が提示する支援情報を参照した上で学習モデルの生成に用いる特徴を選択する。また所定の情報（学習モデルの生成に用いた特徴や学習モデルの精度についての履歴情報等）に基づき特徴選択部１３１が自動的に特徴を選択するようにしてもよい。
【００５０】
続いて、学習モデル生成部１３２は、選択した特徴の学習データ１１１に基づき学習モデルを生成する（Ｓ７１３）。学習モデル生成部１３２は、所定の機械学習のアルゴリズム（決定木、ＳＶＭ（Support Vector Machine)、ニューラルネットワーク等）を用いて
学習モデルを生成する。
【００５１】
続いて、記憶部１１０が、生成した学習モデルに関する情報を学習モデル情報１１２として記憶する（Ｓ７１４）。具体的には、記憶部１１０は、生成した学習モデルのパラメータを学習モデル情報１１２の学習モデルパラメータ１１２２として、また学習モデルの生成に用いた特徴の特徴ＩＤを利用特徴１１２３として、学習モデル情報１１２に格納する。尚、このように学習モデルの生成に用いた特徴の特徴ＩＤが利用特徴１１２３として学習モデル情報１１２に管理されることで、各特徴の学習データが、利用特徴の学習データと未利用特徴の学習データとに分類されて管理される。
【００５２】
図８は、学習モデル生成処理Ｓ７００において生成された学習モデルについて、各特徴の変化検知モデルを生成する処理（以下、変化検知モデル生成処理Ｓ８００と称する。）を説明するフローチャートである。変化検知モデル生成処理Ｓ８００は、例えば、学習モデル生成処理Ｓ７００が実行された後に実行される。以下、同図とともに変化検知モデル生成処理Ｓ８００について説明する。
【００５３】
まず学習モデル性能検証部１３３が、学習モデル生成処理Ｓ７００で生成された学習モデルの学習モデル情報１１２の学習データ量１１２４の値に基づき、変化検知モデルの生成に用いる特徴の範囲（未利用特徴のみか、利用特徴と未利用特徴の双方か）を決定する（Ｓ８１１〜Ｓ８１３）。
【００５４】
学習データ量１１２４に「十分」が設定されている場合（Ｓ８１１：十分）、学習モデル性能検証部１３３は、変化検知モデルの生成に用いる特徴の範囲を、未利用特徴の学習データのみと決定する（Ｓ８１２）。一方、学習データ量１１２４に「不十分」が設定されている場合（Ｓ８１１：不十分）、学習モデル性能検証部１３３は、変化検知モデルの生成に用いる特徴の範囲を、未利用特徴の学習データと利用特徴の学習データの双方と決定する（Ｓ８１３）。
【００５５】
Ｓ８１４からの処理は、Ｓ８１２またはＳ８１３で決定した範囲の利用特徴または未利用特徴を順次選択しつつ繰り返されるループ処理である。
【００５６】
まず変化検知モデル生成部１４１は、決定した範囲の特徴のうち上記ループ処理で未選択の特徴の一つを選択する（Ｓ８１４）。
【００５７】
続いて、変化検知モデル生成部１４１が、選択中の特徴について、先行して実行された学習モデル生成処理Ｓ７００で用いた学習データ（時系列データ）の期間（以下、「学習期間」と称する。）における当該選択中の特徴についての学習データ（時系列データ）を、変化検知手法（ここでは「Change Finder」であるとする。）に入力することにより、
選択中の特徴の変化検知モデルを生成する（Ｓ８１５）。具体的には、選択中の特徴が未利用特徴である場合、変化検知モデル生成部１４１は、当該未利用特徴の上記学習期間における学習データ（時系列データ）を上記変化検知手法に入力することにより、選択中の特徴の変化検知モデルを生成する。また選択中の特徴が利用特徴である場合、変化検知モデル生成部１４１は、当該利用特徴の上記学習期間における学習データ（時系列データ）を上記変化検知手法に入力することにより、選択中の特徴の変化検知モデルを生成する。
【００５８】
続いて、記憶部１１０が、生成された変化検知モデルの情報を変化検知モデル情報１１３として記憶する（Ｓ８１６）。具体的には、記憶部１１０は、生成された変化検知モデルのパラメータを変化検知モデル情報１１３の変化検知モデルパラメータ１１３６に、選択中の特徴の特徴ＩＤを特徴ＩＤ１１３２に、生成に用いた変化検知手法（「Change Finder」）を変化スコアタイプ１１３３に、夫々設定した変化検知モデル情報１１３を記憶
する。
【００５９】
続いて、個別変化スコア算出部１４２が、生成された変化検知モデルに上記学習期間における学習データ（時系列データ）を適用することにより、上記学習期間における個別変化スコアの最大値を求める（Ｓ８１７）。尚、この最大値は全体変化スコアの算出に用いられる。
【００６０】
続いて、記憶部１１０が、上記の最大値を特徴変化関連情報１１４として記憶する（Ｓ８１８）。具体的には、記憶部１１０は、先行して実行された学習モデル生成処理Ｓ７００で生成された学習モデルの学習モデルＩＤを学習モデルＩＤ１１４１に、選択中の特徴の特徴ＩＤを特徴ＩＤ１１４２に、生成に用いた変化検知手法（ここでは「Change Finder」）を変化スコアタイプ１１４３に、求めた個別変化スコアの最大値を関連情報１１４
４に、夫々設定した特徴変化関連情報１１４を記憶する。
【００６１】
続いて、個別変化スコア算出部１４２は、Ｓ８１７において変化検知モデルのパラメータが更新されているか否かを判定し、更新されていれば変化検知モデル情報１１３を上記
更新後の内容に更新する（Ｓ８１９）。尚、上記更新は、変化検知モデルに用いられている変化検知手法が変化検知モデルの更新機能を備えている場合に行われる。本例で取り上げる「Change Finder」は上記更新機能を備えているため、変化検知モデルのパラメータ
が更新されていれば変化検知モデル情報１１３が更新される。
【００６２】
続いて、個別変化スコア算出部１４２は、Ｓ８１２またはＳ８１３で決定した範囲の全ての特徴をＳ８１４で選択済か否かを判定する（Ｓ８２０）。全ての特徴を選択済でない場合（Ｓ８２０：ＮＯ）、処理はＳ８１４に戻り、未選択の特徴についてループ処理が繰り返し実行される。全ての特徴を選択済である場合（Ｓ８２０：ＹＥＳ）、変化検知モデル生成処理Ｓ８００は終了する。
【００６３】
図９は、既存の学習モデルについて随時行われる処理（以下、「全体変化スコア算出処理Ｓ９００」と称する。）を説明するフローチャートである。以下、同図とともに全体変化スコア算出処理Ｓ９００について説明する。尚、以下では、学習モデルの一つ（以下、「対象学習モデル」と称する。）に注目して説明する。
【００６４】
まず実行制御部１４７が、学習モデル情報１１２の対象学習モデルの性能検証情報１１２５の検証要否を参照し、対象学習モデルについて事前の性能評価が必要か否かを判定する（Ｓ９１１）。尚、性能検証情報１１２５の内容は、例えば、ユーザにより手動設定される。
【００６５】
対象学習モデルについて事前の性能評価は不要と判定した場合（Ｓ９１１：不要）、実行制御部１４７はＳ９１３からの処理を開始する。一方、対象学習モデルについて性能評価が必要と判定した場合（Ｓ９１１：必要）、実行制御部１４７は、対象学習モデルの性能を示す指標値（例えば分類精度）が対象学習モデルの性能検証情報１１２５の判定閾値未満となっているか否かを随時判定し、上記指標値が上記判定閾値未満であると判定すると（Ｓ９１２：ＹＥＳ）、Ｓ９１３からの処理を開始する。尚、上記指標値は、例えば、データ提供装置３から随時提供される情報に基づき求められる。
【００６６】
Ｓ９１３では、支援情報出力部１４０は、学習モデル情報１１２の学習データ量１１２４の値に基づき、対象学習モデルの学習に用いた学習データの量が十分であったか否かを判定する。支援情報出力部１４０が対象学習モデルの学習に用いた学習データの量が十分であったと判定すると（Ｓ９１３：十分）、個別変化スコア算出部１４２が、各未利用特徴について個別変化スコアを算出する（Ｓ９１４）。一方、支援情報出力部１４０が対象学習モデルの学習に用いた学習データの量が十分でなかったと判定すると（Ｓ９１３：不十分）、個別変化スコア算出部１４２が、各未利用特徴と各利用特徴の双方について個別変化スコアを算出する（Ｓ９１５）。尚、Ｓ９１４及びＳ９１５のいずれの処理においても、個別変化スコアは、各特徴について生成された変化検知モデルを用いて求められる。
【００６７】
Ｓ９１６では、支援情報出力部１４０は、Ｓ９１４またはＳ９１５の処理において変化検知モデルのパラメータが更新されているか否かを判定し、更新されていれば変化検知モデル情報１１３を上記更新後の内容に更新する。尚、上記更新は、変化検知モデルに用いられている変化検知手法が変化検知モデルの更新機能を備えている場合に行われる。本例で取り上げる「Change Finder」は上記更新機能を備えているため、変化検知モデルのパ
ラメータが更新されていれば変化検知モデル情報１１３が更新される。
【００６８】
続いて、個別変化スコア算出部１４２が、Ｓ８１８で求めた最大値とＳ９１４またはＳ９１５で求めた個別変化スコアとに基づき全体変化スコアを求め、求めた全体変化スコアを学習モデル情報１１２の全体変化スコア１１２６として記憶する（Ｓ９１７）。
【００６９】
尚、本実施形態では、全体変化スコア算出処理Ｓ９００はデータ提供装置３から所定量の新たな学習データ（時系列データ）を受信するたびに繰り返し実行され、それにより生成される全体変化スコアの時系列データが全体変化スコア１１２６として記憶されるものとする。
【００７０】
図１０に変化検知方法が「Change Finder」であるときの全体変化スコアの算出方法の
一例を示す。同図に示すように、本例の場合、個別変化スコア算出部１４２が、各特徴の時系列データに基づき各特徴の個別変化スコアを求め、全体変化スコア算出部１４３が、各個別変化スコアに基づき全体変化スコアを求める。
【００７１】
具体的には、個別変化スコア算出部１４２が、各特徴について、既存の学習モデルの学習データ（時系列データ）の学習期間よりも後の新たな期間に取得された学習データ（時系列データ）を夫々の変化検知モデルに適用することにより、上記新たな期間における個別変化スコアを求める。そして全体変化スコア算出部１４３が、各特徴について、夫々の個別変化スコアと夫々についてＳ８１７で求めた夫々の最大値とを比較し、新たな期間における個別変化スコアが最大値以上である特徴の総数を全体変化スコアとして求める。
【００７２】
尚、全体変化スコアの算出方法は必ずしも以上の方法に限定されない。例えば、各特徴に重みづけを行った上で合計した値を全体変化スコアとしてもよい。
【００７３】
図９に戻り、続いて、寄与特徴特定部１４４が、新たな期間における個別変化スコアがＳ８１７で求めた夫々の最大値以上である特徴を寄与特徴として特定し、特定した寄与特徴に関する情報を記憶する（Ｓ９１８）。より詳細には、寄与特徴特定部１４４は、特徴変化関連情報１１４の寄与特徴の特徴ＩＤの関連情報１１４４に当該特徴が寄与特徴であることを示す情報を設定する。尚、本例では、前述したように全体変化スコアが時系列データとして記憶されるので、寄与特徴を示す情報についても時系列データとして記憶される。
【００７４】
続いて、相関特徴特定部１４５が、寄与特徴と寄与特徴以外の他の特徴の間の相関（相関係数）を求め、両者の類似度（相関係数）が予め設定された閾値以上である他の特徴を相関特徴として特定し、特定した相関特徴を示す情報を記憶する（Ｓ９１９）。より詳細には、相関特徴特定部１４５は、特徴変化関連情報１１４の寄与特徴の特徴ＩＤの関連情報１１４４に当該特徴が相関特徴であることを示す情報を設定する。本例では、前述したように全体変化スコアが時系列データとして記憶されるので、相関特徴を示す情報ついても時系列データとして記憶される。
【００７５】
図１１は、情報出力部１４６が、指定された学習モデルについての支援情報を提示する処理（以下、「支援情報提示処理Ｓ１１００」と称する。）を説明するフローチャートである。以下、同図とともに支援情報提示処理Ｓ１１００について説明する。
【００７６】
まず情報出力部１４６は、学習モデル（学習モデルＩＤ）の指定をユーザから受け付ける（Ｓ１１１１）。
【００７７】
続いて、情報出力部１４６は、指定された学習モデルについて、全体変化スコアに関する情報（全体変化スコアの時系列データ等）を表示する（Ｓ１１１２）。
【００７８】
続いて、情報出力部１４６は、指定された学習モデルについて、寄与特徴に関する情報（寄与特徴の時系列データ等）を表示する（Ｓ１１１３）。
【００７９】
続いて、情報出力部１４６は、指定された学習モデルについて、相関特徴に関する情報
（相関特徴の時系列データや相関特徴の相関係数等）を表示する（Ｓ１１１４）。
【００８０】
尚、例えば、情報出力部１４６が、期間の指定をユーザから受け付け、受け付けた期間に対応する支援情報（全体変化スコアの時系列データ、寄与特徴の時系列データ、相関係数、相関特徴の時系列データ等）を表示するようにしてもよい。また情報出力部１４６が、寄与特徴や相関特徴の一覧を表示してユーザに選択を促し、ユーザが選択した寄与特徴や相関特徴に関する情報のみを表示するようにしてもよい。また情報出力部１４６が、全体変化スコアへの寄与度の高い（例えば変化スコアが最大値を超える回数の多い）寄与特徴を優先表示（ソートやフィルタリング等して表示、上位所定数まで表示等）するようにしてもよい。また情報出力部１４６が、相関の高い（相関係数の大きな）相関特徴を優先表示（ソートやフィルタリング等して表示、上位所定数まで表示等）するようにしてもよい。
【００８１】
図１２は、図１１の支援情報提示処理Ｓ１１００に際して情報出力部１４６が表示する画面（以下、「支援情報提示画面１２００」と称する。）の一例である。同図に示すように、支援情報提示画面１２００は、変化スコアタイプの表示欄１２１１、全体変化スコアの表示欄１２１２、寄与特徴の表示欄１２１３、及び相関係数及び相関特徴の表示欄１２１４を有する。
【００８２】
変化スコアタイプの表示欄１２１１には、変化スコアタイプの種類を示す情報が表示される。全体変化スコアの表示欄１２１２には、全体変化スコアの時系列データが表示される。寄与特徴の表示欄１２１３には、寄与特徴の時系列データが表示される。相関係数及び相関特徴の表示欄１２１４には、相関特徴の時系列データや相関係数が表示される。
【００８３】
［変化検知手法の他の例］
ところで、以上では、変化検知モデルの生成に変化検知手法（変化スコアタイプ）として「Change Finder」を用いる場合を例として説明したが、例えば変化検知手法として「One Class SVM」を用いて変化検知モデルを生成することもできる。
【００８４】
図１３は、「One Class SVM」を用いた場合の変化検知モデルの生成方法を説明する図
である。同図はある特徴についての時系列データのグラフであり、横軸は時間、縦軸は特徴の指標値（特徴量）である。同図に示す学習期間は、既存の学習モデルの学習に用いた学習データ（時系列データ）の期間である。
【００８５】
変化検知モデルの生成に際し、変化検知モデル生成部１４１は、上記学習期間の時系列データに基づき変化検知モデルの生成に用いる学習データを生成する。同図の例は、ベクトルのサイズを「４」とした場合であり、このサイズで時間軸に沿って設けたウィンドウを単位時間ごとにシフトしていくことにより、［５，１，３，２］、［１，３，２，４］、［３，２，４，４］、［２，４，４，３］といったベクトルを得ることができる。変化検知モデル生成部１４１は、各特徴について得られるこれらのベクトルを学習データとして「One Class SVM」の学習アルゴリズムに適用することにより各特徴の変化検知モデル
を生成する。
【００８６】
尚、生成した変換検知モデルは、データ提供装置３から取得した新たな学習データに基づくベクトルを与えると、新たな学習データに上記学習期間における時系列データの態様（概形）に類似する時系列データの態様（概形）が存在するか否かを示す情報を出力する。そこで例えば、全体変化スコア算出部１４３は、上記の情報に基づく値（例えば、類似する（類似度が予め設定された閾値以上である）場合は「０」、類似しない（類似度が予め設定された上記閾値未満である）場合は「１」とする）を個別変化スコアとし、各特徴について得られる上記の値を合計することにより全体変化スコアを求める。
【００８７】
図１４は、変化検知手法（変化スコアタイプ）として「One Class SVM」を用いた場合
における、学習モデル生成処理Ｓ７００で生成された学習モデルについての変化検知モデルを生成する処理（以下、変化検知モデル生成処理Ｓ１４００と称する。）を説明するフローチャートである。変化検知モデル生成処理Ｓ１４００は、例えば、学習モデル生成処理Ｓ７００が実行された後に実行される。以下、同図とともに変化検知モデル生成処理Ｓ１４００について説明する。
【００８８】
同図に示すＳ１４１１〜Ｓ１４１３の処理は、図８のＳ８１１〜Ｓ８１３の処理と同様であるので説明を省略する。
【００８９】
Ｓ１４１４からの処理は、Ｓ１４１２またはＳ１４１３で決定した範囲の特徴を順次選択しつつ繰り返されるループ処理である。
【００９０】
Ｓ１４１４では、変化検知モデル生成部１４１は、決定した範囲の特徴のうち上記ループ処理で未選択の特徴の一つを選択する。
【００９１】
続いて、変化検知モデル生成部１４１は、選択中の特徴について、学習モデル生成処理Ｓ７００における学習データ（時系列データ）の学習期間における当該特徴の学習データ（時系列データ）を「One Class SVM」に適用することにより、変化検知モデルを生成す
る（Ｓ１４１５）。具体的には、選択中の特徴が未利用特徴である場合、変化検知モデル生成部１４１は、当該未利用特徴の上記学習期間における学習データ（時系列データ）を「One Class SVM」に適用することにより、選択中の特徴についての変化検知モデルを生
成する。また選択中の特徴が利用特徴である場合、変化検知モデル生成部１４１は、当該利用特徴の上記学習期間における学習データ（時系列データ）を「One Class SVM」に適
用することにより、選択中の特徴についての変化検知モデルを生成する。
【００９２】
続いて、記憶部１１０が、変化検知モデル生成部１４１が生成した変化検知モデルの情報を変化検知モデル情報１１３として記憶する（Ｓ１４１６）。具体的には、記憶部１１０は、変化検知モデル生成部１４１が生成した変化検知モデルのパラメータを変化検知モデル情報１１３の変化検知モデルパラメータ１１３６として、選択中の特徴の特徴ＩＤを特徴ＩＤ１１３２として、生成に用いた変化検知手法である「One Class SVM」を変化ス
コアタイプ１１３３として、夫々設定した変化検知モデル情報１１３を記憶する。
【００９３】
Ｓ１４２０では、個別変化スコア算出部１４２は、Ｓ１４１２またはＳ１４１３で決定した範囲の全ての特徴をＳ１４１４で選択済か否かを判定する。全ての特徴を選択済でない場合（Ｓ１４２０：ＮＯ）、処理はＳ１４１４に戻り、未選択の特徴についてループ処理が繰り返し実行される。全ての特徴を選択済である場合（Ｓ１４２０：ＹＥＳ）、変化検知モデル生成処理Ｓ１４００は終了する。
【００９４】
図１５は、変化検知手法（変化スコアタイプ）として「One Class SVM」を用いた場合
における、既存の各学習モデルについて随時行われる処理（以下、「全体変化スコア算出処理Ｓ１５００」と称する。）を説明するフローチャートである。尚、基本的な処理の流れは図９の全体変化スコア算出処理Ｓ９００と同様であるので、以下、相違点を中心に説明する。
【００９５】
同図に示すＳ１５１１〜Ｓ１５１３の処理は、図９のＳ９１１〜Ｓ９１３の処理と同様であるので説明を省略する。
【００９６】
Ｓ１５１４またはＳ１５１５では、個別変化スコア算出部１４２は、各未利用特徴また
は各利用特徴の個別変化スコアを、図１４の変化検知モデル生成処理Ｓ１４００で生成した変化点検知モデルを用いて図１３とともに説明した前述の方法により求める。
【００９７】
Ｓ１５１６では、全体変化スコア算出部１４３は、求めた個別変化スコアに基づき、図１３とともに説明した前述の方法により全体変化スコアを求めて記憶する。尚、全体変化スコアの算出方法は必ずしも限定されない。例えば、各特徴に重みづけを行った上で合計した値を全体変化スコアとしてもよい。
【００９８】
Ｓ１５１７では、寄与特徴特定部１４４は、求めた変化スコアが全体変化スコアに寄与している特徴を寄与特徴として特定する。例えば、寄与特徴特定部１４４は、個別変化スコアが「１」（類似しない）である特徴を寄与特徴として特定する。
【００９９】
Ｓ１５１８では、相関特徴特定部１４５は、Ｓ９１９と同様の方法で相関特徴や相関係数を求めて記憶する。
【０１００】
以上のように、変化検知手法（変化スコアタイプ）として「One Class SVM」を用いた
場合も支援情報の表示は図１１に示した支援情報提示処理Ｓ１１００と同様の方法で行われる。尚、「One Class SVM」に類似する他の二値分類のアルゴリズムを変化検知手法と
して用いてもよい。
【０１０１】
以上、詳細に説明したように、本実施形態の学習モデル生成支援装置１００によれば、複数の特徴の全体としての変化の度合いを示す値である全体変化スコアに関する情報を提供することができ、複数の特徴の全体としての変化に関する情報を得ることができる。また全体変化スコアに寄与する特徴である寄与特徴に関する情報を提供することができ、寄与特徴から全体変化スコアを変化させる要因となっている特徴を把握することができる。また既存の学習モデルの学習に際して利用されなかった未利用特徴の中から学習モデルの性能向上に貢献する特徴を発見することができる。このように、本実施形態の学習モデル生成支援装置１００によれば、学習モデルの生成に用いる特徴を効率よく適切に特定することができる。
【０１０２】
［変化検知方法の指定］
ところで、変化検知モデルの特性は、その生成に用いた変化検知手法によって異なるため、例えば、ユーザが変化検知モデルの生成に用いる変化検知手法を選択できるようにしてもよい。また支援情報の提示に際してユーザに複数の変化検知手法を選択させ、変化検知モデル生成部１４１が、ユーザが選択した複数の変化検知手法の夫々に基づく複数の変化検知モデルを生成し、複数の変化検知モデルの夫々を用いて支援情報を生成して表示するようにしてもよい。ユーザが変化検知手法を選択できるようにすることで、製品や現場の状況に応じてユーザは適切な変化検知モデルを選択して有用な支援情報を得ることができる。また寄与特徴や相関特徴を優先表示（ソートやフィルタリング等して表示、上位所定数まで表示等）する場合は、選択された変化検知手法に応じて優先順が決定されるので、ユーザは異なる観点に基づく支援情報を得ることができる。
【０１０３】
図１６に変化検知方法をユーザに指定させる画面（以下、「変化検知方法選択画面１６００」と称する。）の一例を示す。同図に示すように、変化検知方法選択画面１６００は、変化検知方法の名称の表示欄１６１１と選択欄１６１２とを有する。ユーザは、選択する変化検知方法の選択欄１６１２に対して選択操作を行うことで、変化検知モデルの生成に用いる変化検知手法を選択することができる。ユーザは、複数の変化検知方法を同時に選択することも可能であり、その場合は選択された複数の変化検知手法の夫々に基づき変化検知モデルが生成され、各変化検知モデルに基づき支援情報が生成される。
【０１０４】
［学習モデルの設定］
前述した学習モデル情報１１２の設定は、例えば、所定の画面（以下、「学習モデル設定画面１７００」と称する。）を表示してユーザから設定を受け付ける。
【０１０５】
図１７に学習モデル設定画面１７００の一例を示す。例示する学習モデル設定画面１７００は、学習モデルＩＤの設定欄１７１１、学習データ量の設定欄１７１２、及び性能検証情報の設定欄１７１３を有する。学習モデル生成支援装置１００は、学習モデルＩＤの設定欄１７１１の設定内容を学習モデルＩＤ１１２１に、学習データ量の設定欄１７１２の設定内容を学習データ量１１２４に、性能検証情報の設定欄１７１３の設定内容を性能検証情報１１２５に、夫々設定する。学習モデル設定画面１７００に設定された内容は、学習モデル情報１１２に反映される。
【０１０６】
［時系列データの送信制御］
例えば、機械学習システム１が、データ提供装置３については現場（エッジ）側に設置され、学習モデル生成支援装置１００についてはクラウド側に設置される運用形態（エッジコンピューティング等）をとる場合、通信ネットワーク５の通信量を抑えるべく、通常の運用時にデータ提供装置３から学習モデル生成支援装置１００に対して学習データとして用いる時系列データの送信を制限していることがある。
【０１０７】
そのため、前述した変化検知モデル生成処理Ｓ８００や全体変化スコア算出処理Ｓ９００（変化検知モデル生成処理Ｓ１４００や全体変化スコア算出処理Ｓ１５００も同様）等の未利用特徴の時系列データを利用する処理を実行する際は、送信制限を解除して学習モデル生成支援装置１００がデータ提供装置３から未利用特徴の時系列データを取得できるようにする必要がある。また未利用特徴の時系列データの利用が終了した後は、未利用特徴（ユーザが支援情報を参照した結果、利用特徴とすることが決定した特徴を除く）の送信を再度制限して通常の運用状態に戻す必要がある。
【０１０８】
そこで、例えば、学習データ管理部１２０に、指定された特徴の時系列データの送信要求や指定された特徴の時系列データの送信停止要求をデータ提供装置３に対して送信する機能を設け、未利用特徴の時系列データの送信制御を行うようにする。
【０１０９】
図１８は、データ提供装置３に対して時系列データの送信要求や送信停止要求を行う際に学習データ管理部１２０が行う処理（以下、「時系列データ送信制御処理Ｓ１８００」と称する。）を説明するフローチャートである。以下、同図とともに時系列データ送信制御処理Ｓ１８００について説明する。
【０１１０】
まず学習データ管理部１２０は、データ提供装置３に対して未利用特徴の時系列データの送信要求を送信する（Ｓ１８１１）。
【０１１１】
上記送信要求を受信すると、データ提供装置３は、未利用特徴の時系列データの送信を開始し、学習モデル生成支援装置１００は、データ提供装置３から送られてくる未利用特徴の時系列データの受信を開始する（Ｓ１８１２）。
【０１１２】
尚、学習データ管理部１２０は、例えば、図８に示した変化検知モデル生成処理Ｓ８００や図１４に示した変化検知モデル生成処理Ｓ１４００の実行に先立ちＳ１８１１〜Ｓ１８１２の処理を実行する。
【０１１３】
その後、学習データ管理部１２０は、未利用特徴（ユーザが支援情報を参照した結果、利用特徴とすることが決定した特徴を除く）の時系列データの受信を停止するための処理を開始するか否かを随時判定する（Ｓ１８１３）。学習データ管理部１２０は、例えば、
ユーザから未利用特徴の時系列データの受信停止指示を受け付けた場合に未利用特徴の時系列データの受信を停止すると判定する。学習データ管理部１２０が、未利用特徴の時系列データの受信を停止すると判定した場合（Ｓ１８１３：ＹＥＳ）、処理はＳ１８１４に進む。
【０１１４】
Ｓ１８１４では、学習データ管理部１２０は、時系列データの受信を停止する未利用特徴の指定を受け付ける。尚、学習データ管理部１２０が、例えば、変化検知モデル情報１１３を参照することにより、時系列データの受信を停止する未利用特徴を自動的に判定するようにしてもよい。
【０１１５】
続いて、学習データ管理部１２０は、受け付けた特徴の時系列データの送信停止要求をデータ提供装置３に送信する（Ｓ１８１５）。データ提供装置３は、上記送信停止要求を受信すると、指定された特徴についての時系列データの送信を停止する。
【０１１６】
以上、一実施形態について詳述したが、本発明は以上に説明した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。またある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。またある実施形態の構成に他の実施形態の構成を加えてもよい。また各実施形態の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。
【０１１７】
例えば、以上の実施形態では、様々な情報を識別するために識別子を用いているが、識別子として例えばＵＵＩＤ（Universally Unique Identifier）を用いてもよい。
【０１１８】
また前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【０１１９】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣ（Integrated Circuit）カ
ード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）の記録媒体に格納することができる。
【０１２０】
制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【０１２１】
１  機械学習システム、３  データ提供装置、５  通信ネットワーク、１００  学習モデル生成支援装置、１１０  記憶部、１１１  学習データ、１１２  学習モデル情報、１１３  変化検知モデル情報、１１４  特徴変化関連情報、１２０  学習データ管理部、１２１  データ取得部、１２２  データ更新部、１３０  学習モデル管理部、１３１  特徴選択部、１３２  学習モデル生成部、１３３  学習モデル性能検証部、１３４  学習モデル情報管理部、１４０  支援情報出力部、１４１  変化検知モデル生成部、１４２  個別変化スコア算出部、１４３  全体変化スコア算出部、１４４  寄与特徴特定部、１４５  相関特徴特定部、１４６  情報出力部、１４７  実行制御部、Ｓ７００  学習モデル生成処理、Ｓ８００  変化検知モデル生成処理、Ｓ９００  全体変化スコア算出処理、１２００
支援情報提示画面、１６００  変化検知方法選択画面、１７００  学習モデル設定画面
【図１】
2020144493.tif 000003
【図２】
2020144493.tif 000004
【図３】
2020144493.tif 000005
【図４】
2020144493.tif 000006
【図５】
2020144493.tif 000007
【図６】
2020144493.tif 000008
【図７】
2020144493.tif 000009
【図８】
2020144493.tif 000010
【図９】
2020144493.tif 000011
【図１０】
2020144493.tif 000012
【図１１】
2020144493.tif 000013
【図１２】
2020144493.tif 000014
【図１３】
2020144493.tif 000015
【図１４】
2020144493.tif 000016
【図１５】
2020144493.tif 000017
【図１６】
2020144493.tif 000018
【図１７】
2020144493.tif 000019
【図１８】
2020144493.tif 000020