(57)【要約】  コンピューティングシステムの監視されるべき複数のシステムインジケータが決定される。複数のシステムインジケータの履歴データに基づいてトレーニングデータが取得される。長期短期メモリ(LSTM)モデルがトレーニングデータを使用してトレーニングされる。コンピューティングシステムの複数のシステムインジケータがLSTMモデルに基づいて監視される。
2021508096.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
を含む、コンピュータ実装方法。
【請求項２】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項1に記載のコンピュータ実装方法。
【請求項４】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記方法は、
前記履歴期間の各特定の所定の時間間隔について、
【数１】
2021508096.tif 000018
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項3に記載のコンピュータ実装方法。
【請求項５】
前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
【数２】
2021508096.tif 000019
の入力と、特徴データセットとしての
【数３】
2021508096.tif 000020
の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項4に記載のコンピュータ実装方法。
【請求項６】
前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップは、
前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
前記複数のシステムインジケータの予測されたデータを取得するために、前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
を含む、請求項1に記載のコンピュータ実装方法。
【請求項７】
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
前記複数のシステムインジケータの各特定のシステムインジケータについて、
前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
を含む、請求項6に記載のコンピュータ実装方法。
【請求項８】
1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項９】
動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項9に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
前記履歴期間の各特定の所定の時間間隔について、
【数４】
2021508096.tif 000021
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
【数５】
2021508096.tif 000022
の入力と、特徴データセットとしての
【数６】
2021508096.tif 000023
の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項12に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップは、
前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
前記複数のシステムインジケータの予測されたデータを取得するために、前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
を含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
前記複数のシステムインジケータの各特定のシステムインジケータについて、
前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
を含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【請求項１６】
1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
をさらに含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
1つまたは複数のコンピュータと、
前記1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスと
を具備するコンピュータ実装システムであって、前記1つまたは複数の命令が前記1つまたは複数のコンピュータによって実行されるとき、
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
を含む1つまたは複数の動作を実行する、コンピュータ実装システム。
【請求項１８】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項17に記載のコンピュータ実装システム。
【請求項１９】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項17に記載のコンピュータ実装システム。
【請求項２０】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
前記履歴期間の各特定の所定の時間間隔について、
【数７】
2021508096.tif 000024
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項19に記載のコンピュータ実装システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のシステムインジケータの監視に関する。
【背景技術】
【０００２】
インジケータを監視することは、システムの安定した健常なオペレーションのために重要である。複雑なシステムでは、多数のインジケータを監視する必要がある。通常、インジケータは個別に監視される。言い換えると、単一のインジケータだけが一度に監視され得る。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示は、複数のシステムインジケータを同時に監視することを説明する。
【０００４】
ある実施形態では、コンピューティングシステムにおける監視されるべき複数のシステムインジケータが決定される。複数のシステムインジケータの履歴データに基づくトレーニングデータが取得される。長期短期メモリ(LSTM)モデルは、トレーニングデータを使用してトレーニングされる。複数のシステムインジケータは、LSTMモデルに基づいてコンピューティングシステムにおいて監視される。
【０００５】
説明される主題の実施形態は、上述した実施形態を含め、コンピュータ実装方法、該コンピュータ実装方法を実行するためのコンピュータ可読命令を記憶した非一時的コンピュータ可読媒体、および1つまたは複数のコンピュータに相互運用可能に結合され、1つまたは複数のコンピュータによって実行されるときにコンピュータ実装方法/非一時的コンピュータ可読媒体上に記憶されたコンピュータ可読命令を実行するように構成された有形の非一時的機械可読媒体を有するコンピュータメモリを備えるコンピュータ実装システムを使用して実装可能である。
【０００６】
本明細書に開示される主題は、以下の利点の1つまたは複数を実現するために、特定の実施形態において実装されることができる。第一に、長期短期メモリ(LSTM)モデルを使用して、マルチインジケータ共同監視を実行することによって、異なるインジケータ間の潜在的な連動異常を検出できる。第二に、単一のインジケータ監視によって引き起こされる誤警報を回避できる。第三に、単一のインジケータ監視によって検出できない異常を監視できる。
【０００７】
本明細書に説明される主題の1つまたは複数の実施形態の詳細は、発明の詳細な説明、特許請求の範囲、および添付の図面に記載される。主題の他の特徴、態様、および利点は、その発明の詳細な説明、特許請求の範囲、および添付の図面から当業者に明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態による、複数のシステムインジケータを監視する一例を示す概略図である。
【図２】本開示の実施形態による、複数のシステムインジケータを監視するためのコンピュータ実装方法の一例を示すフローチャートである。
【図３】本会議の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられた計算機能を提供するために使用されるコンピュータ実装システムの一例を示すブロック図である。
【発明を実施するための形態】
【０００９】
様々な図面における同じ番号および記号は同様の要素を示す。
【００１０】
以下に説明される記述は、同時に複数のシステムインジケータを監視することを説明し、任意の当業者が1つまたは複数の特定の実施形態の文脈において、開示される主題を作成および使用できるように提示される。本開示の範囲から逸脱することなく、開示された実施形態の様々な修正、変更、および置換を行うことができ、それらは当業者には容易に明らかであり、本明細書に定義された一般原理は他の実施形態および用途に適用されてよい。いくつかの事例では、説明される主題の理解を得るのに不必要な詳細は、不必要な詳細により1つまたは複数の説明される実施形態を曖昧にしないように、およびそのような詳細が当業者の技術の範囲内である限り、省略され得る。本開示は、説明または図示された実施態様に限定されることを意図しないが、説明される原理および特徴と矛盾しない最も広い範囲を与えるように意図されている。
【００１１】
インジケータを監視することは、システムの安定した健常なオペレーションのために重要である。複雑なシステムでは、多数のインジケータを監視する必要がある。通常、インジケータは個別に監視される。言い換えると、単一のインジケータだけが一度に監視され得る。例えば、ガウス分布、k平均クラスタリング、またはアイソレーションフォレスト(Isolation Forest)を使用したインジケータ監視は、一度に単一のインジケータのみを監視できる。1つまたは複数のインジケータにおいて発生するが監視しているインジケータでは発生しない異常は、単一のインジケータ監視を使用して検出することができないことがある。多くの場合、システムにおけるいくつかのインジケータ間に連動が存在する。結果として、監視されたインジケータと1つまたは複数の他のインジケータとの間の通常の連動は、単一のインジケータ監視を使用して異常として検出され、誤警報を生成することがある。
【００１２】
保険業界では、例えば、インジケータは、売却済済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額を含むことができる。インジケータは、毎時、毎日、あるいは他の所望の時間間隔で監視され得る。売却済保険証書の数と提出された請求の数との間に連動が存在することがある。例えば、ある期間の間(アリババの年次「Double11」グローバルショッピングデー祭典など)、売却済保険証書の数の増加に起因して、提出された請求の数が増加するであろう高い確率が存在する。提出された請求の数を単に監視することは、提出された請求の数の通常の増加に対して誤警報を生成することがある。加えて、提出された請求の数を単に監視することは、提出された請求の数における異常報告の見逃しをもたらす。例えば、売却済保険証書の数が劇的に減少する一方で提出された請求の数にほとんど変化がないとき、提出された請求の数に対して異常が発生しているおそれがある。この例では、監視された提出された請求の数は一定であると思われるので、提出された請求の数における異常が検出されず、その異常は報告されないであろう。
【００１３】
高いレベルで、説明されるアプローチは、長期短期メモリ(LSTM)モデルを使用して、システムにおけるマルチインジケータ共同監視を自動的に実行するための方法を提供する。入力のためのトレーニングデータは、複数のインジケータの履歴データに基づいて用意され、LSTMモデルをトレーニングするために使用される。LSTMモデルは、トレーニングデータからの複数のインジケータ間の線形または非線形の関係を学習することができるので、トレーニングされたLSTMモデルは、複数のインジケータ間の連動関係を適切にモデル化できる。トレーニングされたLSTMモデルに基づいて、複数のインジケータを同時に監視できる。そうすることで、異なるインジケータ間の潜在的な連動異常を検出できる。加えて、単一のインジケータ監視によって引き起こされる誤警報や異常の見逃しを避けることができ、それによってシステムにおける潜在的なリスクおよび異常のタイムリーな発見を提供する。
【００１４】
図1は、本開示の実施形態による、複数のシステムインジケータを監視する一例を示す概略図100である。提示を明快にするために、以下の説明は、本明細書における他の図面の文脈で図100を概略的に説明する。図100は、インジケータライブラリ102、トレーニングデータ110、複数のインジケータのシークエンスデータの構築112、テストデータ120、および長期短期メモリ(LSTM)モデル130を含むことができる。いくつかの実施形態では、図100は、概略図に示されていない追加のまたは異なる(あるいは両方を組み合わせた)構成要素を含むことができる。いくつかの実施形態では、構成要素が図100から省略されていることもある。
【００１５】
図1に示すように、監視される必要のあるインジケータのセットが最初に決定される。いくつかの実施形態では、インジケータのセットは、インジケータライブラリ102に格納され得る。例えば、インジケータのセットは、インジケータA104およびインジケータB106を含むことができる。特定の例として、保険業界では、インジケータのセットは、売却済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額のうちの少なくとも1つを含むことができる。場合によっては、インジケータのセットの中の各インジケータは、1時間単位、1日単位、または他の所望の時間間隔で監視され得る。
【００１６】
インジケータのセットが決定された後、トレーニングデータ110がインジケータのセットに対して取得され得る。例えば、いくつかの実施形態では、トレーニングデータ110は、インジケータのセットの中の格納された履歴データ(過去365日の毎日の売却済保険証書の数または過去24時間の毎時の売却済保険証書の数など)から取得され得る。
【００１７】
いくつかの実施形態では、トレーニングデータ110は、長期短期メモリ(LSTM)モデルに与えられる前に処理され得る。言い換えると、トレーニングデータ110は、LSTMモデルによって読み取り可能なフォーマットに構築され得る。例えば、複数のシステムインジケータシーケンスデータ112が、複数のインジケータの履歴データから構築され得る。構築は、1つのインジケータに対して一度に実行され得る。いくつかの実施形態では、インジケータA114のシーケンスデータが、最初に構築され、インジケータB116のシーケンスデータが次に構築される。次いで、各インジケータシーケンスデータが、時系列118に配列され得る。
【００１８】
例示する目的で、インジケータxは、毎時の売却済保険証書の数を表し、インジケータzは、毎時の提出された請求の数を表す。まず、インジケータxの履歴データが時系列にx1,x2,...,xi,...,xn-1,xnのように配置される。xiは履歴時間iにおける毎時の売却済保険証書の数のインジケータデータである。各インジケータデータxiについて、xiの以前の期間内の履歴データが取得され、時系列にxi-t,...,xi-1,xiのように配置される。tは、期間を表す(24時間など)。xiの以前の期間を満たす十分な履歴データがない場合(履歴データxi-tが利用可能でないなど)、例えば代わりに、数0が使用されてよい。次に、インジケータzの履歴データが時系列にz1,z2,...,zi,...,zn-1,znのように配置される。ziは履歴時間iにおける毎時の提出された請求の数のインジケータデータである。各インジケータデータziについて、ziの以前の期間内の履歴データが取得され、時系列にzi-t, …, zi-1, ziのように配置される。tは期間を表す(24時間など)。いくつかの実施形態では、ziの以前の期間を満たす十分な履歴データがない場合(履歴データzi-tが利用可能でないなど)、例えば代わりに、数0が使用されてよい。
【００１９】
いくつかの実施形態では、xi-t,...,xi-1,xiおよびzi-t,...,zi-1,ziは、組み合わされて以下のように行列iを形成できる。
【００２０】
【数１】
2021508096.tif 000003
【００２１】
インジケータxとインジケータzの履歴データにおけるデータの数に基づいて、同数の行列が構築される。例えば、の履歴データx1,x2,...,xi,...,xn-1,xnとインジケータzの履歴データの両方は、n個の毎時のデータを含む。結果として、n個の行列が構築され得る。
【００２２】
構築された行列に基づいて、LSMTモデルのためのトレーニングデータが構築され得る。例えば、各構築された行列i(すなわち、式(1)など)に対して、
【００２３】
【数２】
2021508096.tif 000004
【００２４】
が、LSMTモデルへのラベルデータセット入力として使用され、
【００２５】
【数３】
2021508096.tif 000005
【００２６】
が、LSMTモデルへの特徴データセット入力として使用され得る。構築されたトレーニングデータは、LSMTモデル130をトレーニングする122ために使用され得る。
【００２７】
一旦LSMTモデル130がトレーニングされると、トレーニングされたLSMTモデルは、複数のインジケータ(インジケータライブラリ102の中の全てのインジケータなど)を共同監視するために使用され得る。いくつかの実施形態では、テストデータ120が、インジケータライブラリ102の中のインジケータのセットのために最初に取得され得る。例えば、j番目の時間(現在の時間など)についてのインジケータのセットを監視するために、以前の期間t(直近の24時間など)内のインジケータのセットの履歴データが、テストデータとして取得され得る。取得されたテストデータは、トレーニングされたLSMTモデルに与えられ、j番目の時間におけるインジケータのセットの値を予測する124。インジケータのセットの中の各特定のインジケータについて、j番目の時間における特定のインジケータのリアルタイムの値(現在収集される実際のインジケータデータなど)と、j番目の時間における特定のインジケータの予測された値(すなわち、LSMTモデルによって予測された)との間の比較が実行される。場合によっては、j番目の時間における特定のインジケータのリアルタイムの値とj番目の時間における特定のインジケータの予測された値との差分の絶対値が計算され得る。インジケータのセットについて計算された絶対値は、合計されて、総差分値lを生む。場合によっては、総差分値lは、所定のしきい値T(100など)と比較され得る。場合によっては、所定のしきい値Tがトレーニングデータから決定され得る。例えば、各構築された行列iについて、総差分数liが計算される。所定のしきい値Tが、liの平均値の10倍の値に設定され得る。いくつかの実施形態では、l>Tの場合、監視されたインジケータのセット内での連動異常が起こっていると決定し、連動異常に対する警告が上がる。いくつかの実施形態では、l≦Tの場合、監視されたインジケータのセット内での連動異常が起こっていないと決定され、連動異常に対する警告が上がらない。
【００２８】
図2は、本開示の実施形態による、複数のシステムインジケータを監視するためのコンピュータ実装方法200の一例を示すフローチャートである。提示を明快にするために、以下の説明は、本明細書における他の図面の文脈において方法200を概略的に説明する。しかしながら、方法200は、例えば、システム、環境、ソフトウェア、およびハードウェア、または、必要に応じて、システム、環境、ソフトウェア、およびハードウェアの組み合わせによって実行され得ることが理解されるであろう。いくつかの実施形態では、方法200の様々なステップは、並列に、組み合わせて、ループして、あるいは任意の順序で実行され得る。いくつかの実施形態では、方法200の様々なステップは、自動的に、手動で、または自動的および手動の両方を組み合わせて実行され得る。
【００２９】
205において、コンピューティングシステムの監視されるべき複数のシステムインジケータが決定される。いくつかの実施形態では、複数のシステムインジケータは、コンピュータシステムのユーザ(システム管理者など)によって決定され得る。例えば、保険システムでは、監視されるべきシステムインジケータは、売却済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額のうちの少なくとも1つを含むことができる。いくつかの実施形態では、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関し得る。言い換えると、複数のシステムインジケータのうちの第1のシステムインジケータと1つまたは複数の第2のシステムインジケータとの間に連動が存在する。例えば、ある期間(アリババの年次「Double11」グローバルショッピングデー祭典など)の間、売却済保険証書の数の増加は、提出された請求の数の増加を引き起こすことがある。方法200は、205から210に進む。
【００３０】
210において、トレーニングデータは、複数のシステムインジケータの履歴データに基づいて取得される。いくつかの実施形態では、履歴期間が(コンピュータシステムのユーザによってなど)決定される。例えば、履歴期間は、一日、一週、一ヶ月、一年、または他の過去の所望の時間間隔であってよい。履歴データは、毎時、毎日、他の所望の時間間隔で、格納され得る。複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データが収集される。加えて、履歴期間内の特定のシステムインジケータの履歴データは時系列に配置され得る。
【００３１】
例えば、履歴期間がn時間を含み、複数のシステムインジケータが、第1のシステムインジケータxと第2のシステムインジケータyを含むと仮定すると、第1のシステムインジケータxの履歴データは、時系列にx1,x2,...,xi,...xn-1,xnのように配置され、第2のシステムインジケータyの履歴データは、時系列にy1,y2,...,yi,...,yn-1,ynのように配置される。履歴期間の各特定の時間について、行列iは、
【００３２】
【数４】
2021508096.tif 000006
【００３３】
として構築されることができる。iは、履歴期間のうちの特定の時間であり、tは、(24時間など)データサイクルであり、xiは、特定の時間iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の時間iにおける第2のシステムインジケータyの履歴データである。場合によっては、行列iを満たす十分な履歴データがない場合(履歴データxi-tが利用できないなど)、例えば代わりに、数0が使用されてよい。履歴期間のn個の時間について、n個の行列が構築され得る。結果として、トレーニングデータが、n個の構築された行列として構築され得る。方法200は、210から215に進む。
【００３４】
215において、LSMTモデルは、トレーニングデータを使用してトレーニングされる。いくつかの実施形態では、トレーニングデータを使用してLSMTモデルをトレーニングすることは、ラベルデータセットとしての入力
【００３５】
【数５】
2021508096.tif 000007
【００３６】
と特徴データセットとしての入力
【００３７】
【数６】
2021508096.tif 000008
【００３８】
を用いたLSMTモデルへの行列iの入力を含む。LSMTモデルが入力トレーニングデータからの複数のシステムインジケータ間の線形および非線形の関係を学習できるので、トレーニングされたLSMTモデルは、複数のシステムインジケータ間の連動関係を適切にモデル化できる。方法200は、215から220に進む。
【００３９】
220において、複数のシステムインジケータが、トレーニングされたLSMTモデルに基づいてコンピューティングシステムにおいて監視される。例えば、複数のシステムインジケータのテストデータが取得され得る。テストデータは以前の期間内の複数のシステムインジケータの履歴データ(以前の期間に収集された実際のデータなど)であってよい。いくつかの実施形態では、履歴データが1時間単位に格納されている場合、期間は、一日、一週、一年、または他の所望の時間間隔であってよい。履歴データが1日単位で格納されている場合、期間は、一週、一ヶ月、一年、または他の所望の時間間隔であってよい。以前の期間内の複数のシステムインジケータの履歴データは、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに入力され得る。場合によっては、複数のシステムインジケータのリアルタイムデータ(複数のシステムインジケータの現在収集される実際のインジケータデータなど)が、複数のシステムインジケータ内での連動異常が発生しているか否かを判定するために、複数のシステムインジケータの予測されたデータと比較される。
【００４０】
例えば、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値が算出される。複数のシステムインジケータについての算出された絶対値は、合計され、総差分値を生む。いくつかの実施形態では、総差分値が所定のしきい値を超える場合、複数のシステムインジケータ内での連動異常が発生していると決定される。場合によっては、連動異常のための警告が上がってよい。いくつかの実施形態では、総差分値が所定のしきい値を超えない場合、複数のシステムインジケータ内での連動異常が発生していないと決定される。場合によっては、連動異常のための警告があがらない。
【００４１】
いくつかの実施形態では、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加されるべき、または複数のシステムインジケータから除外されるべきであるかどうかについての決定がなされ得る。1つまたは複数のシステムインジケータが複数のシステムインジケータに追加されるべき、または複数のシステムインジケータから除外されるべきであるという決定がなされる場合、LSTMモデルは更新された複数のシステムインジケータを監視するために、使用の前に再トレーニングされる必要がある。例えば、更新されたトレーニングデータは、(前述のステップ210と同様に)更新された複数のシステムインジケータの履歴データに基づいて取得され得る。LSTMモデルは、(前述のステップ215と同様に)更新されたトレーニングデータを使用して再トレーニングされ得る。いくつかの実施形態では、LSTMモデルを再トレーニングすることは、コンピュータシステムのユーザによって命令され得る。いくつかの実施形態では、LSTMモデルは、周期的に再トレーニングされ得る。220の後、方法200は終了する。
【００４２】
図3は、本開示の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システム300の例を示すブロック図である。図示された実施形態では、システム300はコンピュータ302およびネットワーク330を含む。
【００４３】
図示されたコンピュータ302は、コンピューティングデバイスの物理インスタンスまたは仮想インスタンス、またはコンピューティングデバイスの物理インスタンスまたは仮想インスタンスの組み合わせを含むサーバ、デスクトップコンピュータ、ラップトップ/ノートブックコンピュータ、ワイヤレスデータポート、スマートフォン、携帯情報端末(PDA)、タブレットコンピュータ、これらのデバイス内の一つまたは複数のプロセッサ、別のコンピューティングデバイス、あるいはコンピューティングデバイスの組み合わせなどの、任意のコンピューティングデバイスを包含することを意図している。加えて、コンピュータ302は、キーパッド、キーボード、タッチスクリーン、別の入力デバイス、またはユーザ情報を受け入れることのできる入力デバイスの組み合わせなどの、入力デバイスと、デジタルデータ、視覚情報、聴覚情報、別のタイプの情報、あるいはいくつかのタイプの情報の組み合わせを含む、コンピュータ302の動作に関連付けられた情報をグラフィカルタイプユーザインターフェース(UI)(またはGUI)または他のUIに伝達する出力デバイスとを含むことができる。
【００４４】
コンピュータ302は、クライアント、ネットワークコンポーネント、サーバ、データベース、または別の永続的機能、別の役割、または本開示に説明された主題を実行するための役割の組み合わせとして、分散されたコンピューティングシステムにおいて役割を機能できる。図示されたコンピュータ302は、ネットワーク330に通信可能に結合される。いくつかの実施形態では、コンピュータ302の一つまたは複数の構成要素が、クラウドコンピューティングベースの環境、ローカル環境、グローバル環境、別の環境、または環境の組み合わせを含む、環境の中で動作するように構成され得る。
【００４５】
高いレベルでは、コンピュータ302は、説明された主題に関連付けられたデータおよび情報を、受信、送信、処理、記憶、または管理するように動作可能な電子コンピューティングデバイスである。いくつかの実施形態によれば、コンピュータ302はまた、アプリケーションサーバ、電子メールサーバ、Webサーバ、キャッシュサーバ、データストリーミングサーバ、別のサーバ、またはサーバの組み合わせを含むサーバを含むことができ、あるいはサーバに通信可能に結合され得る。
【００４６】
コンピュータ302は、ネットワーク330を介して(例えば、別のコンピュータ302上で実行されているクライアントソフトウェアアプリケーションから)要求を受信することができ、ソフトウェアアプリケーションまたはソフトウェアアプリケーションの組み合わせを使用して受信した要求を処理することによって受信した要求に応答できる。加えて、要求はまた、内部ユーザ(例えば、コマンドコンソールから、または別の内部アクセス方法によって)、外部またはサードパーティ、あるいは他のエンティティ、個人、システム、またはコンピュータから、コンピュータ302に送られ得る。
【００４７】
コンピュータ302の各構成要素は、システムバス303を使用して通信できる。いくつかの実施形態では、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含むコンピュータ302の構成要素のいくつかまたはすべては、アプリケーションプログラミングインターフェース(API)312、サービスレイヤ313、またはAPI312とサービスレイヤ313の組み合わせを使用して、システムバス303を介してインターフェースできる。API312は、ルーチン、データ構造、およびオブジェクトクラスのための仕様を含むことができる。API312は、コンピュータ言語に依存しないものでも依存するものでもよく、完全なインターフェース、単一の機能、またはAPIのセットさえも指すものであってよい。サービスレイヤ313は、コンピュータ302またはコンピュータ302に通信可能に結合される他の構成要素(図示にかかわらず)に、ソフトウェアサービスを提供する。コンピュータ302の機能は、このサービスレイヤを使用するすべてのサービス消費者にとってアクセス可能であり得る。サービスレイヤ313によって提供されるものなどのソフトウェアサービスは、規定のインターフェースを通じて、再使用可能な規定の機能を提供する。例えば、インターフェースは、JAVA(登録商標)、C++、別のコンピューティング言語、または拡張マークアップ言語(XML)フォーマット、別のフォーマット、またはフォーマットの組み合わせでデータを提供するいくつかのコンピューティング言語の組み合わせで書かれたソフトウェアであり得る。コンピュータ302の統合された構成要素として示されているが、代替の実施形態では、API312またはサービスレイヤ313は、コンピュータ302の他の構成要素またはコンピュータ302に通信可能に結合される他の構成要素(図示にかかわらず)に対してスタンドアロン構成要素として示されてよい。さらに、API312またはサービスレイヤ313の一部または全部は、本開示の範囲から逸脱することなく、別のソフトウェアモジュール、企業アプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装され得る。
【００４８】
コンピュータ302は、インターフェース304を含む。単一のインターフェース304として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、2つ以上のインターフェース304が使用され得る。インターフェース304は、分散環境におけるネットワーク330に通信可能にリンクされている別のコンピューティングシステム(図示にかかわらず)と通信するためにコンピュータ302によって使用される。一般に、インターフェース304は、ネットワーク330と通信するように動作可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで符号化されたロジックを含む。より具体的には、インターフェース304は、ネットワーク330またはインターフェース304のハードウェアが図示されたコンピュータ302の内外で物理的な信号を通信するように動作可能であるように、通信に関連付けられた1つまたは複数の通信プロトコルをサポートするソフトウェアを含み得る。
【００４９】
コンピュータ302は、プロセッサ305を含む。単一のプロセッサ305として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、2つ以上のプロセッサが使用され得る。一般に、プロセッサ305は命令を実行し、データを操作するとともに、コンピュータ302の動作、および本開示に説明されているような任意のアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャを実行する。
【００５０】
コンピュータ302はまた、コンピュータ302、ネットワーク330に通信可能にリンクされた別の構成要素(図示にかかわらず)、またはコンピュータ302と別の構成要素との組み合わせのために、データを保持できるデータベース306を含む。例えば、データベース306は、本開示に矛盾しないデータを記憶するインメモリの、従来の、または別のタイプのデータベースであってよい。いくつかの実装形態では、データベース306は、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上の異なるデータベースのタイプ(例えば、ハイブリッドインメモリデータベースおよび従来のデータベース)の組み合わせであり得る。単一のデータベース306として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、類似するタイプまたは異なるタイプの2つ以上のデータベースが使用され得る。データベース306はコンピュータ302の統合された構成要素として示されているが、代替の実施形態では、データベース306はコンピュータ302の外部にあってよい。図示されるように、データベース306は、例えば、前述の履歴データ316およびトレーニングデータ318を保持する。
【００５１】
コンピュータ302はまた、コンピュータ302、ネットワーク330に通信可能にリンクされた別の構成要素(図示にかかわらず)、またはコンピュータ302と別の構成要素との組み合わせのために、データを保持できるメモリ307を含む。メモリ307は、本開示に矛盾しない任意のデータを記憶できる。いくつかの実装形態では、メモリ307は、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上の異なるタイプのメモリの組合せ(例えば、半導体ストレージと磁気ストレージの組合せ)であり得る。単一のメモリ307として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上のメモリ307あるいは類似または異なるタイプが使用され得る。メモリ307はコンピュータ302の統合された構成要素として示されているが、代替の実装形態では、メモリ307はコンピュータ302の外部にあってよい。
【００５２】
アプリケーション308は、特に本開示で説明されている機能に関して、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、機能を提供するアルゴリズムソフトウェアエンジンである。例えば、アプリケーション308は、1つまたは複数の構成要素、モジュール、またはアプリケーションとして機能することができる。さらに、単一のアプリケーション308として図示されているが、アプリケーション308は、コンピュータ302上で複数のアプリケーション308として実装できる。加えて、コンピュータ302に統合されるように図示されているが、代替の実装において、アプリケーション308はコンピュータ302の外部にあってよい。
【００５３】
コンピュータ302はまた、電源314を含むことができる。電源314は、ユーザ交換可能にあるいはユーザが交換できないように構成され得る充電式または非充電式のバッテリを含むことができる。いくつかの実施形態では、電源314は、電力変換または管理回路(再充電、スタンバイ、または別の電力管理機能を含む)を含むことができる。いくつかの実装形態では、電源314は、例えばコンピュータ302に電力を供給するため、または充電式バッテリを充電するために、コンピュータ302を壁のコンセントまたは別の電力源に差し込むことを可能にするための電源プラグを含むことができる。
【００５４】
コンピュータ302を含むコンピュータシステムに付随して、またはコンピュータシステムの外部に、任意の数のコンピュータ302が存在することができ、各コンピュータ302はネットワーク330を介して通信する。さらに、「クライアント」、「ユーザ」という用語、または他の適切な用語は、本開示の範囲から逸脱することなく、必要に応じて交換可能に使用され得る。さらに、本開示は、多数のユーザが1つのコンピュータ302を使用できること、または1人のユーザが複数のコンピュータ302を使用できることを意図する。
【００５５】
主題の詳細な実施形態は、単独でまたは組み合わせて、1つまたは複数の特徴を含むことができる。
【００５６】
例えば、第1の実施形態では、コンピュータ実装方法は、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む。
【００５７】
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
【００５８】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
【００５９】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
【００６０】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、方法は、履歴期間の各特定の所定の時間間隔について、
【００６１】
【数７】
2021508096.tif 000009
【００６２】
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
【００６３】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
【００６４】
【数８】
2021508096.tif 000010
【００６５】
の入力と、特徴データセットとしての
【００６６】
【数９】
2021508096.tif 000011
【００６７】
の入力とを用いたLSTMモデルへの行列iの入力を含む。
【００６８】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
【００６９】
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
【００７０】
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
【００７１】
第2の実施形態では、動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶する非一時的コンピュータ可読記憶媒体であり、動作が、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む。
【００７２】
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
【００７３】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
【００７４】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
【００７５】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、動作は、履歴期間の各特定の所定の時間間隔について、
【００７６】
【数１０】
2021508096.tif 000012
【００７７】
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
【００７８】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
【００７９】
【数１１】
2021508096.tif 000013
【００８０】
の入力と、特徴データセットとしての
【００８１】
【数１２】
2021508096.tif 000014
【００８２】
の入力とを用いたLSTMモデルへの行列iの入力を含む。
【００８３】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
【００８４】
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
【００８５】
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
【００８６】
第3の実施形態では、1つまたは複数のコンピュータと、1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備するコンピュータ実装システムであり、1つまたは複数の命令が1つまたは複数のコンピュータによって実行されるとき、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む1つまたは複数の動作を実行する。
【００８７】
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
【００８８】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
【００８９】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
【００９０】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、動作は、履歴期間の各特定の所定の時間間隔について、
【００９１】
【数１３】
2021508096.tif 000015
【００９２】
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
【００９３】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
【００９４】
【数１４】
2021508096.tif 000016
【００９５】
の入力と、特徴データセットとしての
【００９６】
【数１５】
2021508096.tif 000017
【００９７】
の入力とを用いたLSTMモデルへの行列iの入力を含む。
【００９８】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
【００９９】
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
【０１００】
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
【０１０１】
本明細書に説明された主題の実施形態および機能的動作は、本明細書に開示された構造およびそれらの構造上の均等物を含む、デジタル電子回路、有形の具現化されたコンピュータソフトウェアまたはファームウェア、コンピュータハードウェア、またはそれらの1つまたは複数の組み合わせで実装され得る。説明された主題のソフトウェア実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるための、あるいはコンピュータまたはコンピュータ実装システムの動作を制御するための、有形の非一時的コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。代替または追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、コンピュータまたはコンピュータ実装システムによる実行のために受信装置に送信するための情報を符号化するように生成された、機械生成された電気信号、光信号、または電磁信号の中に/上に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはコンピュータ記憶媒体の組み合わせであってよい。1つまたは複数のコンピュータを構成することは、ソフトウェアが1つまたは複数のコンピュータによって実行されるときに特定の計算動作が実行されるように、1つまたは複数のコンピュータがハードウェア、ファームウェア、またはソフトウェア(またはハードウェア、ファームウェア、およびソフトウェアの組合せ)をインストールしていることを意味する。
【０１０２】
「リアルタイム(real-time)」、「リアルタイム(real time)」、「リアルタイム(realtime)」、「リアル(ファスト)タイム(real (fast) time (RFT))」、「ほぼリアルタイム(near(ly) real-time (NRT))」、「準リアルタイム（quasi real-time）」という用語、または(当業者には理解されるような)同様の用語は、アクションおよび応答が実質的に同時に起こることを個人が知覚するように、アクションおよび応答が時間的に近いことを意味する。例えば、データへのアクセスに対する個人のアクションに続いてデータを表示するための応答(または表示の開始)にかかる時間差は、1ミリ秒(ms)未満、1秒(s)未満、または5秒未満であり得る。要求されたデータは瞬時に表示される（または表示のために開始される）必要はないが、説明されたコンピューティングシステムの処理限界と、例えばデータを収集、正確に測定、分析、処理、保存、または送信するのに必要な時間とを考慮して、意図的な遅延なしに表示（または表示のために開始）される。
【０１０３】
用語「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(または当業者によって理解されるような同等の用語)は、データ処理ハードウェアを指すとともに、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含め、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。コンピュータは、例えば、中央処理装置(CPU)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)などの特殊用途論理回路でもよく、またはさらに特殊用途論理回路を含んでもよい。いくつかの実装形態では、コンピュータまたはコンピュータ実装システム、あるいは専用論理回路(または、コンピュータまたはコンピュータ実装システムと専用論理回路の組み合わせ)は、ハードウェアベースまたはソフトウェアベース(またはハードウェアベースとソフトウェアベースの両方の組み合わせ)とすることができる。コンピュータは、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または実行環境の組み合わせを構成するコードを任意に含むことができる。本開示は、あるタイプのオペレーティングシステム、例えば、LINUX、UNIX(登録商標)、WINDOWS(登録商標)、MAC OS、ANDROID(登録商標)、IOS、別のオペレーティングシステム、またはオペレーティングシステムの組み合わせによってコンピュータまたはコンピュータ実装システムを使用することを企図する。
【０１０４】
プログラム、ソフトウェア、ソフトウェアアプリケーション、ユニット、モジュール、ソフトウェアモジュール、スクリプト、コード、または他の構成要素などと呼ばれるまたは説明され得るコンピュータプログラムは、プログラム言語の任意の形式で書くことができ、プログラム言語は、コンパイル言語またはインタプリタ言語、あるいは宣言型言語または手続き型言語を含み、コンピュータプログラムは、例えば、コンピューティング環境で使用するためのスタンドアロンプログラム、モジュール、コンポーネント、またはサブルーチンとしてなど、任意の形式で展開され得る。コンピュータプログラムは、必ずしもそうである必要はないが、ファイルシステム内のファイルに対応できる。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語文書に記憶された1つまたは複数のスクリプトは、対象のプログラム専用の単一ファイル、または複数の協調ファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を保持するファイルなどに記憶できる。コンピュータプログラムは、1つのサイトに配置されているかまたは複数のサイトにわたって分散され、通信ネットワークによって相互接続されている1つのコンピュータまたは複数のコンピュータ上で実行されるように展開され得る。
【０１０５】
様々な図に示されたプログラムの部分は、様々なオブジェクト、方法、または他のプロセスを使用して説明された特徴および機能を実装する、ユニットまたはモジュールなどの個々の構成要素として示すことができ、プログラムは代わりに、必要に応じて、サブユニット、サブモジュール、サードパーティのサービス、コンポーネント、ライブラリ、およびその他の構成要素を含むことができる。対照的に、様々な構成要素の特徴および機能を組み合わせて、必要に応じて単一の構成要素にすることができる。コンピュータでの判定を行うために使用されるしきい値は、静的に、動的に、または静的かつ動的に決定できる。
【０１０６】
説明された方法、プロセス、または論理フローは、本開示に矛盾しない機能の1つまたは複数の例を表しており、説明されたまたは図示された実装形態に開示内容を限定することを意図しておらず、説明された原理や特徴に矛盾しない最も広い範囲が与えられることを意図していると認められるべきである。説明された方法、プロセス、または論理フローは、入力データに基づき動作して出力データを生成することによって機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実行され得る。方法、プロセス、または論理フローは、特殊用途論理回路、例えば、CPU、FPGA、またはASICによって実行することができ、特殊用途論理回路としてコンピュータが実装されてよい。
【０１０７】
コンピュータプログラムを実行するためのコンピュータは、汎用または特殊用途のマイクロプロセッサ、その両方、または別のタイプのCPUに基づくことができる。一般に、CPUはメモリから命令およびデータを受信し、メモリに書き込む。コンピュータの必須要素は、命令を行うまたは実行するためのCPU、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、または光ディスクなど、データを記憶するための1つまたは複数の大容量記憶デバイスを含む、または1つまたは複数の大容量記憶デバイスに動作可能に結合され、1つまたは複数の大容量記憶デバイスからデータを受信するか、または1つまたは複数の大容量記憶デバイスにデータを転送するか、またはその両方を行う。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルメモリストレージデバイスに組み込まれ得る。
【０１０８】
コンピュータプログラム命令およびデータを記憶するための非一時的コンピュータ可読媒体は、例として半導体メモリデバイス、磁気デバイス、光磁気ディスクおよび光メモリデバイスを含む、あらゆる形態の永久的/非永久的または揮発性/不揮発性メモリ、媒体、およびメモリデバイスを含むことができ、半導体メモリデバイスは、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、およびフラッシュメモリデバイスであり、磁気デバイスは、例えば、テープ、カートリッジ、カセット、内蔵/取り外し可能ディスクであり、光メモリデバイスは、例えば、デジタル多目的/ビデオディスク(DVD)、コンパクトディスク(CD) ROM、DVD+/-R、DVD-RAM、DVD-ROM、高精密/高密度(HD)-DVD、およびBLU-RAY/ BLU-RAYディスク(BD)、ならびに他の光メモリ技術である。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、モジュール、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データ構造、データベーステーブル、動的情報を記憶するリポジトリ、または任意のパラメータ、変数、アルゴリズム、命令、規則、制約、または参照を含む他の適切な情報を含む様々なオブジェクトまたはデータを記憶できる。さらに、メモリは、ログ、ポリシー、セキュリティデータまたはアクセスデータ、あるいは報告ファイルなどの他の適切なデータを含むことができる。プロセッサおよびメモリは、特殊用途論理回路によって補完されるか、またはその中に組み込まれることができる。
【０１０９】
ユーザとの相互作用を提供にするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための、例えば、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、またはプラズマモニタなどの表示デバイスと、ユーザがそれによってコンピュータに入力を提供できるマウス、トラックボール、またはトラックパッドなどのキーボードおよびポインティングデバイスとを具備するコンピュータ上に実装され得る。圧力感知のタブレットコンピュータ表面、静電容量式または電気式感知を使用したマルチタッチスクリーン、または別のタイプのタッチスクリーンなどのタッチスクリーンを使用してコンピュータに入力を提供してもよい。他の種類のデバイスがユーザと相互作用するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック(視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック、またはいくつかのフィードバックタイプの組み合わせなど)であり得る。ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受け取ることができる。さらに、コンピュータは、ユーザによって使用されるクライアントコンピューティングデバイスとドキュメントを送受信することによって(例えば、ウェブブラウザから受信した要求に応答してユーザのモバイルコンピューティングデバイス上のウェブブラウザにウェブページを送信することによって)、ユーザと相互作用できる。
【０１１０】
「グラフィカルユーザインターフェース」または「GUI」という用語は、単数形または複数形で使用され、1つまたは複数のグラフィカルユーザインターフェースおよび特定のグラフィカルユーザインターフェースの各ディスプレイを記述する。従って、GUIは、限定ではないが、情報を処理するとともに情報結果を効率的にユーザに提示するウェブブラウザ、タッチスクリーン、またはコマンドラインインターフェース(CLI)を含む任意のグラフィカルユーザインターフェースを表すことができる。一般に、GUIは、インタラクティブフィールド、プルダウンリスト、およびボタンなど、ウェブブラウザのいくつかまたはすべてに関連付けられたいくつかのユーザインターフェース(UI)要素を含むことができる。これらのUI要素および他のUI要素は、ウェブブラウザの機能に関連するかまたはそれを表すことができる。
【０１１１】
本明細書に記載の主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または例えばアプリケーションサーバなどのミドルウェア構成要素を含む、または例えばグラフィカルユーザインターフェースを有するクライアントコンピュータ、またはユーザがそれを介して本明細書に記載の主題の実施形態と相互作用できるウェブブラウザなどのフロントエンド構成要素を含む、またはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の1つまたは複数の組み合わせを含むコンピューティングシステムで実装され得る。システムの構成要素は、例えば通信ネットワークなどの有線または無線デジタルデータ通信(またはデータ通信の組み合わせ)の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、WIMAX(Worldwide Interoperability for Microwave Access)、例えば、802．11a/b/g/nまたは802．20(または802.11xと802.20の組み合わせ、または本開示に矛盾しない他のプロトコル)を使用する無線ローカルエリアネットワーク(WLAN)、インターネットの全部または一部、別の通信ネットワーク、または通信ネットワークの組み合わせを含む。通信ネットワークは、例えば、インターネットプロトコル(IP)パケット、フレームリレーフレーム、非同期転送モード(ATM)セル、音声、ビデオ、データ、またはネットワークノード間の他の情報と通信できる。
【０１１２】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いに離れており、通常は通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【０１１３】
本明細書は多くの具体的な実施形態の詳細を含むが、これらはいかなる発明概念の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明概念の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に説明されているいくつかの特徴は、組み合わせて、単一の実施形態で実装されてよい。対照的に、単一の実施形態の文脈で説明されている様々な特徴は、複数の実施形態で別々に、または任意のサブコンビネーションで実装されてよい。さらに、前述の特徴は特定の組み合わせで作用するものとして説明され、最初はそのように請求することさえされ得るが、場合によっては、請求する組み合わせからの1つまたは複数の特徴をその組み合わせから切り取ることができ、請求する組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてよい。
【０１１４】
主題の特定の実施形態が説明された。説明された実施形態の他の実施形態、変形、および置換は、添付の特許請求の範囲の範囲内であり、このことは、当業者には明らかであろう。動作は図面または特許請求の範囲に特定の順序で描かれているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序またはシーケンシャルな順序に実行されること、または図示されたすべての動作（いくつかの動作は任意とされ得る）が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスク処理または並列処理(またはマルチタスク処理と並列処理の組み合わせ)が有利であり、必要に応じて実行され得る。
【０１１５】
さらに、前述の実装形態における様々なシステムモジュールおよび構成要素の分離または統合は、すべての実装形態においてそのような分離または統合を必要とすると理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して単一のソフトウェア製品に統合され得る、または複数のソフトウェア製品にパッケージ化され得ると理解すべきである。
【０１１６】
従って、前述の例示的な実装形態は、本開示を定義または制限するものではない。本開示の精神および範囲から逸脱することなく、他の変更、置換、および変形もまた可能である。
【０１１７】
さらに、特許請求の範囲に記載された実施形態は、少なくともコンピュータ実施方法、コンピュータ実施方法を実行するためのコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体、およびコンピュータ実施方法または非一時的コンピュータ可読媒体に記憶された命令を実行するように構成されたハードウェアプロセッサと相互運用可能に結合されたコンピュータメモリを備えるコンピュータシステムに適用可能であると考えられる。
【符号の説明】
【０１１８】
302  コンピュータ
303  システムバス
304  インターフェース
305  プロセッサ
306  データベース
307  メモリ
308  アプリケーション
312  API
313  サービスレイヤ
314  電源
316  履歴データ
318  トレーニングデータ
330  ネットワーク
【図１】
2021508096.tif 000025
【図２】
2021508096.tif 000026
【図３】
2021508096.tif 000027
【手続補正書】
【提出日】令和2年7月22日(2020.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
トレーニングされたLSTMモデルとして前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップであって、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップは、
前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
前記以前の期間内の前記複数のシステムインジケータの前記履歴データの前記入力に基づいて前記トレーニングされたLSTMモデルから前記複数のシステムインジケータの予測されたデータを取得するステップと、
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
を含む、ステップと
を含む、コンピュータ実装方法。
【請求項２】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項1に記載のコンピュータ実装方法。
【請求項４】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記方法は、
前記履歴期間の各特定の所定の時間間隔について、
【数１】
2021508096.tif 000028
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項3に記載のコンピュータ実装方法。
【請求項５】
前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
【数２】
2021508096.tif 000029
の入力と、特徴データセットとしての
【数３】
2021508096.tif 000030
の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項4に記載のコンピュータ実装方法。
【請求項６】
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
前記複数のシステムインジケータの各特定のシステムインジケータについて、
前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
を含む、請求項1に記載のコンピュータ実装方法。
【請求項７】
1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項８】
動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
トレーニングされたLSTMモデルとして前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップであって、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップは、
前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
前記以前の期間内の前記複数のシステムインジケータの前記履歴データの前記入力に基づいて前記トレーニングされたLSTMモデルから前記複数のシステムインジケータの予測されたデータを取得するステップと、
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
を含む、ステップと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項９】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項8に記載の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項8に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
前記履歴期間の各特定の所定の時間間隔について、
【数４】
2021508096.tif 000031
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
【数５】
2021508096.tif 000032
の入力と、特徴データセットとしての
【数６】
2021508096.tif 000033
の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
前記複数のシステムインジケータの各特定のシステムインジケータについて、
前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
を含む、請求項8に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
をさらに含む、請求項8に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
1つまたは複数のコンピュータと、
前記1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスと
を具備するコンピュータ実装システムであって、前記1つまたは複数の命令が前記1つまたは複数のコンピュータによって実行されるとき、
コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
トレーニングされたLSTMモデルとして前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップであって、
前記トレーニングされたLSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを同時に監視するステップは、
前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
前記以前の期間内の前記複数のシステムインジケータの前記履歴データの前記入力に基づいて前記トレーニングされたLSTMモデルから前記複数のシステムインジケータの予測されたデータを取得するステップと、
前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
を含む、ステップと
を含む1つまたは複数の動作を実行する、コンピュータ実装システム。
【請求項１６】
前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項15に記載のコンピュータ実装システム。
【請求項１７】
前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
履歴期間を決定するステップと、
前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
を含む、請求項15に記載のコンピュータ実装システム。
【請求項１８】
前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
前記履歴期間の各特定の所定の時間間隔について、
【数７】
2021508096.tif 000034
である行列iを構築するステップであって、
iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
をさらに含む、請求項17に記載のコンピュータ実装システム。
【国際調査報告】
2021508096.tif 000035
2021508096.tif 000036
2021508096.tif 000037