(57)【要約】      （修正有）【課題】欠損値のあるデータを補完し、異常値を除去するデータプリプロセッシングのための方法を提供する。【解決手段】フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて統合データから異常値を除去する。欠損データを特定すべく、種々のパラメータの発生の頻度に基づいて、フィルタされたデータを多数のカテゴリーにカテゴリー化する。補完されたデータを取得すべく、多数のカテゴリーに基づいて欠損データを選択的に補完する。所定の基準に基づいて、補完されたデータを種々のデータクラスターにクラスター化する、ステップを繰り返す。次に、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する同じデータクラスターに、クラスター化されているかどうかの判別を、従前の繰り返しと現在の繰り返しにおけるデータクラスターが類似となるまで繰り返す。【選択図】図３
2018113018.tif 000002
【特許請求の範囲】
【請求項１】
製造プロセスと関連するデータプリプロセッシングのためのプロセッサ実装方法において、
製造プロセスと関連する統合データを処理する、複数の繰り返しを実行するステップを含み、
前記複数の繰り返しのうちの少なくとも一つの繰り返しは、
フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから一つ若しくはそれ以上の異常値を除去するステップであって、該フィルタされたデータは製造プロセスを表す複数のパラメータと関連する、除去するステップと、
前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータを複数のカテゴリーにカテゴリー化するステップであって、カテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである、カテゴリー化するステップと、
補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づいて、前記欠損データを選択的に補完するステップと、及び、
前記製造プロセスの複数の稼動条件と関連する少なくとも一つの所定の基準に基づいて、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化するステップと
を含み、
前記プロセッサ実装方法は更に、
前記複数の繰り返しのあらゆる繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別するステップを
含み、
前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される
プロセッサ実装方法。
【請求項２】
更に、前記統合データを取得すべく、前記製造プロセスと関連する生データをフィルタするステップを含む、請求項１に記載の方法。
【請求項３】
前記マルチレベル異常値除去モデルは、複数の異常値除去モデルを用いて階層的順序で前記一つ若しくはそれ以上の異常値をフィルタすることを含み、
前記複数の異常値除去モデルは、一つ若しくはそれ以上の領域知識ベース異常値モデル、箱髭図モデル、及びＺスコアモデルを含む、請求項１に記載の方法。
【請求項４】
一つ若しくはそれ以上の異常値をフィルタすることは
前記一つ若しくはそれ以上の領域知識ベース異常値モデルのうちの少なくとも一つを用いて、フィルタされた統合データを取得すべく、統合データから第１のセットの異常値をフィルタすることと、
フィルタされた統合データから第２のセットの異常値をフィルタすることとを含み、
前記フィルタされた統合データから第２のセットの異常値をフィルタすることは、
箱髭図モデルを用いることによりフィルタされた統合データにおける異常値の第１の量を計算することと、前記異常値の第１の量と異常値の閾値の量との比較に基づいて、所定の複数の処理のうちの一つを実行することとにより、第２のセットの異常値をフィルタするものであり、
前記所定の複数の処理は、
前記異常値の第１の量が前記異常値の閾値の量以上であると判別されれば、箱髭図モデル及びＺスコアモデルの各々を用いて異常値の第２の量を計算し、更に、前記第２のセットの異常値をフィルタすべく、前記異常値の第２の量における異常値の最も少ない数と関連する異常値除去モデルを箱髭図モデル及びＺスコアモデルから選択することと、及び、
前記異常値の第１の量が前記異常値の閾値の量より小さいと判別されれば、前記第２のセットの異常値をフィルタすべく、箱髭図モデルを利用すること、である
請求項３に記載の方法。
【請求項５】
前記複数のパラメータの前記複数のカテゴリーは、ＶＥＷＭＡ（指数関数的加重時系列）、ＶＥＭ（期待値最大化）、及びＶＬＶＣＦ（最終値繰越）のうちの少なくとも一つを含む、請求項１に記載の方法。
【請求項６】
前記ＶＬＶＣＦのカテゴリーにおける前記複数のパラメータの分類は、前記統合データ内部で選択的間隔で利用可能な一つ若しくはそれ以上のパラメータを特定するために、欠損パターンを計算することを含む、請求項５に記載の方法。
【請求項７】
製造プロセスと関連するデータプリプロセッシングのためのプロセッサ実装システムにおいて、
前記システムは、
一つ若しくはそれ以上のハードウエアプロセッサと、及び、
前記一つ若しくはそれ以上のハードウエアプロセッサへ接続する少なくとも一つのメモリと
を含み、
前記一つ若しくはそれ以上ハードウエアプロセッサは、
製造プロセスと関連する統合データを処理する、複数の繰り返しを実行する命令により動作するように構成され、
前記複数の繰り返しのうちの繰り返しを実行するために、前記一つ若しくはそれ以上ハードウエアプロセッサは、
フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから一つ若しくはそれ以上の異常値を除去する命令であって、該フィルタされたデータは製造プロセスを表す複数のパラメータと関連する、除去する命令と、
前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータを複数のカテゴリーにカテゴリー化する命令であって、カテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである、カテゴリー化する命令と、
補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づいて、前記欠損データを選択的に補完する命令と、及び、
前記製造プロセスの稼動条件と関連する少なくとも一つの所定の基準に基づいて、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化する命令と
により動作するように構成され、
前記一つ若しくはそれ以上ハードウエアプロセッサは、更に、
前記複数の繰り返しの各々の繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別する命令により動作するように構成され、
前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される
プロセッサ実装システム。
【請求項８】
前記一つ若しくはそれ以上ハードウエアプロセッサは、前記統合データを取得すべく、前記製造プロセスと関連する生データをフィルタするプログラム化された命令を実行することができる、請求項７に記載のシステム。
【請求項９】
前記マルチレベル異常値除去モデルは、複数の異常値除去モデルを用いて階層的順序で前記一つ若しくはそれ以上の異常値をフィルタするように構成されており、
前記複数の異常値除去モデルは、一つ若しくはそれ以上の領域知識ベース異常値モデル、箱髭図モデル、及びＺスコアモデルを含む、請求項７に記載のシステム。
【請求項１０】
前記一つ若しくはそれ以上の異常値をフィルタするために、前記一つ若しくはそれ以上ハードウエアプロセッサは、
前記一つ若しくはそれ以上の領域知識ベース異常値モデルのうちの少なくとも一つを用いて、フィルタされた統合データを取得すべく、統合データから第１のセットの異常値をフィルタする、プログラム化された命令と、
フィルタされた統合データから第２のセットの異常値をフィルタする、プログラム化された命令と
を実行することができ、
前記フィルタされた統合データから第２のセットの異常値をフィルタする命令は、
箱髭図モデルを用いることによりフィルタされた統合データにおける異常値の第１の量を計算することと、前記異常値の第１の量と異常値の閾値の量との比較に基づいて、所定の複数の処理のうちの一つを実行することとにより、第２のセットの異常値をフィルタするものであり、
前記所定の複数の処理は、
前記異常値の第１の量が前記異常値の閾値の量以上であると判別されれば、箱髭図モデル及びＺスコアモデルの各々を用いて異常値の第２の量を計算し、更に、前記第２のセットの異常値をフィルタすべく、前記異常値の第２の量における異常値の最も少ない数と関連する異常値除去モデルを箱髭図モデル及びＺスコアモデルから選択することと、及び、
前記異常値の第１の量が前記異常値の閾値の量より小さいと判別されれば、前記第２のセットの異常値をフィルタすべく、箱髭図モデルを利用すること、である
請求項９に記載のシステム。
【請求項１１】
前記複数のパラメータの前記複数のカテゴリーは、ＶＥＷＭＡ（指数関数的加重時系列）、ＶＥＭ（期待値最大化）、及びＶＬＶＣＦ（最終値繰越）のうちの少なくとも一つを含む、請求項６に記載のシステム。
【請求項１２】
前記ＶＬＶＣＦのカテゴリーにおける前記複数のパラメータの分類は、前記統合データ内部で選択的間隔で利用可能な一つ若しくはそれ以上のパラメータを特定するために、欠損パターンを計算することを含む、請求項１１に記載のシステム。
【請求項１３】
製造プロセスと関連するデータプリプロセッシングのための方法を実行する、コンピュータプログラムを埋め込む非一時性コンピュータ読み取り可能媒体において、
前記方法は、
製造プロセスと関連する統合データを処理する、複数の繰り返しを実行するステップを含み、
前記複数の繰り返しのうちの少なくとも一つの繰り返しは、
フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから一つ若しくはそれ以上の異常値を除去するステップであって、該フィルタされたデータは製造プロセスを表す複数のパラメータと関連する、除去するステップと、
前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータを複数のカテゴリーにカテゴリー化するステップであって、カテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである、カテゴリー化するステップと、
補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づいて、前記欠損データを選択的に補完するステップと、及び、
前記製造プロセスの複数の稼動条件と関連する少なくとも一つの所定の基準に基づいて、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化するステップと
を含み、
前記方法は更に、
前記複数の繰り返しのあらゆる繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別するステップを
含み、
前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される
非一時性コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１６年１０月１７日に印度国に出願された印度国仮出願第２０１６１０３５４６１号（発明の名称：データプリプロセッシングのためのシステム及び方法）を基礎とする優先権を主張する。
【０００２】
本願の発明特定事項は、概略、データプリプロセッシング技術に関し、特に、異常値分析及び多変量インピュテーション（補完）処理を介してプリプロセッシング技術を実装する方法及びシステムに関する。
【背景技術】
【０００３】
データ分析は、生データを有益な情報へクリーニングして変換する処理である。データ分析は、生データを、更なるプロセッシングのために利用され得るフォーマットに変換する、複数の技術の内の一つであるプリプロセッシングを含む。通常、現実世界のデータは、不完全で一貫性が無いことが多く、ある種のエラーを含みがちである。現下利用可能である現実世界のデータは、ノイズ、及び、欠損データの複数のフォームを含むことがある。更に、このデータは、様々なクラスターで不均一に分離する異常値を含み得る。異常値は、他のデータポイントと隔たるデータポイントである。
【０００４】
データをクリーニングする現存のプリプロセッシング技術は、高度な計算技術でデータフィルタリングを行う。この種のデータプリプロセッシング技術のステップは更に、異常値分析及びデータインピュテーションを含む。この種の異常値分析の場合、明白な異常値などの様々な異常値が存在し、また、製造産業及び加工産業に含まれるオペレーションの場合には、負温度や陰圧などの希な値が存在する。種々のタイプの異常値アルゴリズムがあるが、これらは、全てのケースに実装し得るものでは無い。更に、過去のデータのための異常値分析を実行する場合、種々の稼動条件のケースがある。そのような場合、パラメータの分布が、プラント内のある稼動条件に関して、及び、稼動の様々な期間に亘って、変動し得ることから、全期間に亘る異常値分析は、通常実現可能というわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
種々の理由によりサンプリング頻度がより小さい、いくつかの肝要な品質パラメータがある。データの低い利用可能性により、これらの変数は分析にて用いられないことが多い。更に、多変量インピュテーションの場合には、データ補完される値が、プラントの稼動条件と対比して異常値であることが判明し得る可能性がある。従って、プリプロセッシングされるデータの、補完される値の一部である異常値は結局、非効率的且つ不正確なプリプロセッシングとなる。
【課題を解決するための手段】
【０００６】
実施形態の基本的な理解を提供するために、以下では、本開示のある実施形態の簡単な概要を示す。この概要は、実施形態の広範な概観ではない。実施形態の肝要な／重要な要素を特定することや、実施形態の範囲を描くことを意図するものでは無い。後で示す発明の詳細な説明への導入部として簡単な形式である実施形態を示すことが、唯一の目的である。
【０００７】
前述のように、本明細書の種々の実施形態は、データプリプロセッシングのための方法及びシステムを提供する。ある形態では、製造プロセスと関連するデータプリプロセッシングのためのコンピュータ実装方法が提供される。方法は、コンピュータデバイスにより実行され得る。方法は、コンピュータデバイスにおいて、製造プロセスと関連する統合データを処理する、複数の繰り返しを実行するステップを含む。前記複数の繰り返しのうちの個々の繰り返しは、フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから異常値を除去するステップを含む。該フィルタされたデータは製造プロセスを表す複数のパラメータと関連する。更に、方法は、前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータを複数のカテゴリーにカテゴリー化するステップを含む。前記フィルタされたデータのカテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである。
【０００８】
続いて、補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づいて、前記欠損データを選択的に補完させるステップが実行され、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化する。前記クラスター化は、前記製造プロセスの複数の稼動条件と関連する少なくとも一つの所定の基準に基づくものである。更に、方法は、前記複数の繰り返しのあらゆる繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別するステップを含む。前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される。
【０００９】
別の形態では、データプリプロセッシングのためのプロセッサ実装システムが提供される。システムは、メモリ、及びプロセッサを含む。メモリは、命令及びリポジトリを格納する。メモリはプロセッサに接続し、プロセッサは、製造プロセスと関連する統合データを処理する複数の繰り返しを実行する、メモリに格納された命令により動作するように構成されている。前記複数の繰り返しの各々の繰り返しは、フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから異常値を除去する命令を含む。該フィルタされたデータは製造プロセスを表す複数のパラメータと関連する。更に、前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータは、複数のカテゴリーに更にカテゴリー化される。カテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである。続いて、前記欠損データを選択的に補完するプロセスは、補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づくのであり、従って、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化する。該クラスター化は、前記製造プロセスの複数の稼動条件と関連する少なくとも一つの所定の基準に基づくものである。更に、方法は、前記複数の繰り返しのあらゆる繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別するステップを含む。前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される。
【００１０】
更に別の形態では、データプリプロセッシングのための方法を実行する、コンピュータプログラムを埋め込む非一時性コンピュータ読み取り可能媒体が、提供される。方法は、コンピュータデバイスにおいて、製造プロセスと関連する統合データを処理する、複数の繰り返しを実行するステップを含む。前記複数の繰り返しのうちの個々の繰り返しは、フィルタされたデータを取得すべく、マルチレベル異常値モデルを用いて前記統合データから異常値を除去するステップを含む。該フィルタされたデータは、製造プロセスを表す複数のパラメータと関連する。更に、前記フィルタされたデータから欠損データを特定すべく、前記フィルタされたデータは、複数のカテゴリーにカテゴリー化される。カテゴリー化は、前記フィルタされたデータにおける前記複数のパラメータのうちの一つ若しくはそれ以上のパラメータの発生の頻度に基づくものである。続いて、補完されたデータを取得すべく、前記欠損データの前記複数のカテゴリーのうちの少なくとも一つに基づいて、前記欠損データを選択的に補完するプロセスが、実行され、前記補完されたデータを一つ若しくはそれ以上のデータクラスターにクラスター化するステップが実行される。該クラスター化は、前記製造プロセスの複数の稼動条件と関連する少なくとも一つの所定の基準に基づくものである。更に、方法は更に、前記複数の繰り返しのあらゆる繰り返しの後、現在の繰り返しと関連する補完されたデータが、従前の繰り返しと関連する前記一つ若しくはそれ以上のデータクラスターに、クラスター化されているかどうか、判別するステップを含む。前記複数の繰り返しは、前記従前の繰り返しと前記現在の繰り返しにおける前記一つ若しくはそれ以上のデータクラスターが類似であると判別されるまで、実行される。
【図面の簡単な説明】
【００１１】
本明細書の実施形態は、添付の図面を参照して以下の発明の詳細な説明からよりよく理解されるであろう。
【図１】図１は、例示の実施形態に係る、データプリプロセッシングのためのネットワーク実装の模式的ブロック図を示す。
【図２】図２は、ある実施形態に係る、データプリプロセッシングのためのシステムの模式的ブロック図を示す。
【図３】図３は、ある実施形態に係る、データプリプロセッシングのための方法の、プロセスフローを表現するフロー図を、示す。
【図４】図４は、例示の実施形態に係る、データフィルタリングのプロセスフローを表現するフロー図を、示す。
【図５】図５は、例示の実施形態に係る、異常値分析の例示のプロセスフローを表現するフロー図を、示す。
【図６】図６は、例示の実施形態に係る、利用可能性分析の例示のプロセスフローを表現するフロー図を、示す。
【図７】図７は、例示の実施形態に係る、欠損パターン季節性チェックの例示のプロセスフローを表現するフロー図を、示す。
【図８】図８は、例示の実施形態に係る、多変量インピュテーションの例示のプロセスフローを表現するフロー図を、示す。
【図９Ａ】図９Ａは、データプリプロセッシングにより取得されるデータセットの例示を表現するフロー図を、示す。
【図９Ｂ】図９Ｂは、データプリプロセッシングにより取得されるデータセットの例示を表現するフロー図を、示す。
【図９Ｃ】図９Ｃは、データプリプロセッシングにより取得されるデータセットの例示を表現するフロー図を、示す。
【図９Ｄ】図９Ｄは、データプリプロセッシングにより取得されるデータセットの例示を表現するフロー図を、示す。
【図９Ｅ】図９Ｅは、データプリプロセッシングにより取得されるデータセットの例示を表現するフロー図を、示す。
【発明を実施するための形態】
【００１２】
以下の説明から明らかなように特に別途記載しない限り、本開示においては、「判別する」若しくは「生成する」又は「対比する」などの用語を用いる説明は、コンピュータシステムのレジスタ及びメモリ内部での物理（電子）量として表されるデータを、コンピュータシステムのレジスタ若しくはメモリ、又は他の同様な情報ストレージ、伝送若しくはディスプレイデバイス内部での物理量として同じように表される他のデータへと、操作して変換するコンピュータシステム、又は同様な電子アクティビティ検出デバイスの、作用及び処理を、表すものである。
【００１３】
本明細書の実施形態、及びそれらの種々の特徴や利点は、添付の図面に示されて以下の発明の詳細な説明にて詳述される、非限定的な実施形態を参照して十分に説明されている。本明細書で用いる実施例は、本明細書の実施形態が実施され得るやり方の理解を促進して、更に当業者が本明細書の実施形態を実施することを可能にする、ということを意図するに過ぎない。従って、実施例は、本明細書の実施形態の範囲を限定するようには解釈されるべきでない。
【００１４】
方法及びシステムは、本明細書に記載する特定の実施形態に限定されるものではない。更に、方法及びシステムは、本明細書に記載する他のモジュール及び方法から独立して且つ分離して、実施され得る。個々のデバイスのエレメント／モジュール及び方法は、他のエレメント／モジュール及び他の方法と組み合わせて用いられ得る。
【００１５】
この全体明細書の、発明の詳細な説明及び請求項において、「含むこと」及び「含む」などの、単語「含む」及びそのバリエーションは、「包含するが限定されない」ことを意味し、例えば、他の付加物、コンポーネント、整数若しくはステップを、排除することを意図するものでない。「例示の」は「の例」を意味し、好適な若しくは理想の実施形態の兆候を伝えることを意図するものでない。「などの」は限定的意味で用いられず、説明目的に用いられる。
【００１６】
ファームウエア及び／又はソフトウエアの実装のために、本明細書に記載の機能を実行するモジュール（例えば、プロシージャ、関数など）により、方法は実装され得る。例えば、ソフトウエアコード及びプログラムはメモリにストアされて処理ユニットにより実行され得る。
【００１７】
別のファームウエア、及び／又はソフトウエア実装にて、関数は、非一時的コンピュータ読み取り可能媒体上に一つ若しくはそれ以上の命令若しくはコードとして格納され得る。例示は、データ構造によりコード化されたコンピュータ読み取り可能媒体と、コンピュータプログラムによりコード化されたコンピュータ読み取り可能媒体を含む。コンピュータ読み取り可能媒体は、製造者の製品の形式を取り得る。コンピュータ読み取り可能媒体は、物理的コンピュータ格納媒体を含む。格納媒体は、コンピュータによりアクセスされ得る任意の利用可能な媒体であってもよい。例示として、限定するものでは無く、そのようなコンピュータ読み取り可能媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光学ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又は、命令の若しくはデータ構造の形式で所望のプログラムコードを格納するのに用いられ得る、及びコンピュータによりアクセスされ得る、任意の他の媒体を、含む。本明細書で用いられる、ディスク（ｄｉｓｋ）及びディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光学ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及び、ブルーレイディスクを含むが、ディスク（ｄｉｓｋ）は通常磁気的にデータを再生し、ディスク（ｄｉｓｃ）はレーザにより光学的にデータを再生する。上記のものの組み合わせも、コンピュータ読み取り可能媒体の範囲内に含まれ得る。
【００１８】
当然ながら、明細書は本発明特定事項の原理を示すに過ぎない。本明細書では明白には記していないが、本発明特定事項の原理を実装し、本発明の精神及び範囲内に含まれる、種々の構成を、当業者は考案するものであると言える。更に、本明細書に記載の全ての例示は、読者が本発明の原理及び発明者により寄与されるコンセプトを理解する助けとなり技術を促進するという教育的目的のみが明白に主として意図され、それら具体的に示される例示や条件に対する限定無しで解釈されるべきである。更に、本明細書の原理、局面、及び形態を本明細書で示す全ての記載は、それらの具体的な例示と同様に、それらの等価物を含むことを、意図するものである。
【００１９】
本明細書の実施形態は、製造産業及び加工産業のためのデータプリプロセッシングを可能にするシステム及び方法を提供する。例えば、開示のシステムは、データフィルタリング、異常値除去、インピュテーション及びクラスタリングを利用することにより、データのプリプロセッシングを可能にする。例のシナリオは例示に過ぎず、実施形態の明確化のために含まれる、ということが留意される。開示の方法及びシステムは、提示される例のシナリオに限定されず、実施形態の範囲から乖離すること無く様々な利用例及びシナリオに含まれ得る。図面を、特に図１〜図９Ｅを参照すると、図面に亘って一貫して同様の参照文字は対応する特徴を示し、好適な実施形態が示され、これらの実施形態は以下の励磁のシステム及び／又は方法によって記載される。
【００２０】
データをプリプロセッシングする目的は、データマイニング及び分析のために更に利用され得る処理済みデータを取得することである。生データは、様々なソース、例えば、限定するものでは無いが、分散制御システム（ＤＣＳ）、実験室情報管理システム（ＬＩＭＳ）、エンタープライズリソースプラニング（ＥＲＰ）、手入力などから、取得され、複数のパラメータを含む。生データは、大量の不一致及びノイズ（望まれないデータ）を含み得る。ノイズは除去することが要求され、更なる処理のために生データの有用性を増加する。データフィルタリングは、最小限のユーザインプットによりノイズを除去するように利用される。更に、パラメータ及び種々の異常値の性質に基づく、異常値除去のために、多数の方法が適用される。また、パラメータの利用可能性及び不明の性質に基づいて、一変量の及び多変量の方法の組み合わせを用いて、インピュテーションが実行される。続いて、クラスタリングが実施され、製造プロセスのオペレーション、若しくはビジネスオペレーションについての、一つ若しくはそれ以上の様々なレジームを特定する。最後に、様々なクラスターにおけるポイントの安定性の停止基準は、所望のクリーンデータセットを取得するように選択される。データプリプロセッシングのための本システム及び方法は、任意のタイプのビジネスデータ処理に利用され得る。
【００２１】
図１は、本発明特定事項の例示の実施形態に係る、データプリプロセッシングのためのネットワーク実装１００の模式的ブロック図を示す。ネットワーク実装１００は、一つ若しくはそれ以上のコンピュータデバイス、デバイス１０４−１、１０４−２・・・１０４−Ｎなどのデバイス、及び、システム１０２とユーザデバイス１０４−１、１０４−２・・・１０４−Ｎとの間の通信を促進する通信ネットワーク１０６にて、実装され得るシステム１０２を含むように示される。一つの実施形態では、システム１０２は、データプリプロセッシングのためのコモンプラットフォームを可能にする。本発明特定事項は、システム１０２がサーバ上にソフトウエアアプリケーションとして実装されると考えて説明されているが、システム１０２が、アンドロイド（登録商標）、ｉＯＳ（登録商標）、シンビアン（登録商標）、ウインドウズ（登録商標）、ブラックベリー（登録商標）などの、種々のコンピュータプラットフォームとしても実装され得ることが、理解されるであろう。システム１０２は、前記一つ若しくはそれ以上のデバイス１０４−１、１０４−２・・・１０４−Ｎ（以下では、まとめてデバイス１０４と称する）を介して、若しくは、デバイス１０４上に常駐するアプリケーションを介して、多数のユーザによりアクセスされ得ることが理解されるであろう。デバイス１０４の例は、ポータブルコンピュータ、パーソナルデジタルアシスタント、ハンドヘルドデバイス、及びワークステーションモバイルヘッドセットなどを含み得るが、それらに限定されない。
【００２２】
一つの実装では、通信ネットワーク１０６は、無線ネットワーク、有線ネットワーク、若しくはそれらの組み合わせであってもよい。通信ネットワーク１０６は、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどの、様々なタイプのネットワークの一つとして、実装され得る。通信ネットワーク１０６は、専用ネットワークでも、共有ネットワークでも、いずれでもよい。共有ネットワークは、例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、無線アプリケーションプロトコル（ＷＡＰ）などの、種々のプロトコルを用いる様々なタイプのネットワークの接続を表す。更に、ネットワーク１０６は、ルータ、ブリッジ、サーバ、コンピューティングデバイス、ストレージデバイスなどを含む、様々なネットワークデバイスを含んでもよい。
【００２３】
図２を参照して、詳細なデータプリプロセッシングシステムを更に説明する。図２を参照して、データプリプロセッシングの提供のためのコンピュータデバイス（例えば、ズ１のデバイス１０４）内に実装されるシステムの例を、更に説明する。
【００２４】
図２は、本開示の実施形態に係る、データプリプロセッシングのためのシステム２００のブロック図を示す。一つの実施形態では、システム２００は、コンピュータデバイス、例えば、コンピュータデバイス１０２（図１）で実施若しくは実行され得る。一方で、システム２００は、データプリプロセッシングと関連する複数のコンピュータデバイスで分散される分散システムであってもよい。システム２００は、プロセッサ２０２などの一つ若しくはそれ以上のハードウエアプロセッサ、メモリ２０４などの少なくとも一つのメモリ、通信インタフェース２０６、及びユーザインタフェース２１０を含む、若しくは、それらと通信する。プロセッサ２０２、メモリ２０４、通信インタフェース２０６、及びユーザインタフェース２１０は、システムバス２０８などのシステムバス若しくは同様のメカニズムにより、結合され得る。機能と共に、システム２００の様々なコンポーネントを、以下説明する。
【００２５】
ある実施形態では、プロセッサ２０２は、特に、通信と関連するオーディオ若しくはロジック機能を実装する回路を含む。例えば、プロセッサ２０２は、一つ若しくはそれ以上のデジタルシグナルプロセッサ（ＤＳＰ）、一つ若しくはそれ以上のマイクロプロセッサ、一つ若しくはそれ以上の専用コンピュータチップ、一つ若しくはそれ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、一つ若しくはそれ以上の特定用途向け集積回路（ＡＳＩＣ）、一つ若しくはそれ以上のコンピュータ、種々のＡＤコンバータ、ＤＡコンバータ、及び／又は、他のサポート回路を、含み得るがそれらに限定されない。プロセッサ２０２は、特に、クロック、数値演算ユニット（ＡＬＵ）、及び、プロセッサ２０２の動作をサポートするように構成されているロジックゲートを、含み得る。更に、プロセッサ２０２は、一つ若しくはそれ以上のソフトウエアプログラムを実行する機能を含み得、該ソフトウエアプログラムは、メモリ２０４に格納され得る、若しくはプロセッサ２０２へアクセス可能となり得る。
【００２６】
メモリ２０４などの、少なくとも一つのメモリは、システム２００の機能を実装するために、システムにより用いられる、任意の数の情報、及びデータを格納し得る。揮発性メモリの例は、揮発性ランダムアクセスメモリ（ＲＡＭ）を含み得るが、それに限定されない。不揮発性メモリは、更に若しくは一方で、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブなどを、含む。揮発性メモリの例は、ランダムアクセスメモリ、動的ランダムアクセスメモリ、静的ランダムアクセスメモリなどを含むが、それらに限定されない。不揮発性メモリの例は、ハードディスク、磁気テープ、光学ディスク、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、電気的消去可能ＰＲＯＭ、フラッシュメモリなどを含むが、それらに限定されない。メモリ２０４は、呼び出し制御サーバが種々の例示の形態に係る種々の機能を実行し得るように、情報、データ、アプリケーション、命令などを格納するように構成され得る。更に若しくは一方で、メモリ２０４は、プロセッサ２０２により実行されるとシステム２００が種々の実施形態に記載の如く振る舞う命令を、格納するように構成され得る。
【００２７】
メモリ２０４は、モジュール２１２及びデータリポジトリ２２８も含む。モジュール２１２は、例えば、データフィルタリングモジュール２１４、マルチレベル異常値分析モジュール２１６、多変量インピュテーションモジュール２１８、クラスタリングモジュール２１８、及び他のモジュール２１８を、含む。多変量インピュテーションモジュール２１８は更に、利用可能性モジュール２２０及びミッシングパターン分析モジュール２２２を含む。他のモジュール２２６は、データプリプロセッシングシステム２００により実行されるアプリケーション若しくは機能を補完するプログラム若しくはコード化命令を含み得る。データリポジトリ２２８は、種々のデータソース等からアーカイブされるデータを含む。更に、データリポジトリ２２８は、特に、モジュール２１２の内の一つ若しくはそれ以上のモジュールの実行結果として、処理され受信され若しくは生成されるデータを格納する、リポジトリとして作用する。
【００２８】
データリポジトリ２２８は、データプリプロセッシングシステム２００内部で示されるが、別の実施形態では、データリポジトリ２２８は、データプリプロセッシングシステム２００の外部でも実装され得、この場合、データリポジトリ２２８は、データプリプロセッシングシステム２００に通信上結合されるデータベース内部で格納され得る。そのような外部データベース内部に含まれるデータは、周期的に更新され得る。例えば、新しいデータはデータベース内に付加され得、及び／又は、現存のデータは修正され得、及び／又は、非有用なデータはデータベースから削除され得る。一つの例では、データは、外部システムに格納され得る。別の実施形態では、データリポジトリ２２８に格納されるデータは、データプリプロセッシングシステム２００と外部データベースとの間に分散され得る。
【００２９】
通信インタフェース２０６は、ネットワーク１０６とシステム２００の間の通信を促進するように構成されている。通信インタフェース２０６は、無線接続若しくは有線接続の形式でよい。無線通信インタフェース２０６の例は、例えば、ＩＥＥＥ８０２．１１（ＷｉＦｉ）、ブルートゥース（登録商標）、若しくは、ワイドエリア無線接続を含み得るが、それらに限定されない。有線通信インタフェース２０６の例は、イーサネット（登録商標）を含むが、それに限定されない。
【００３０】
例示の実施形態では、ユーザインタフェース２１０は、プロフェッサ202と通信し得る。ユーザインタフェース２１０の例は、インプットインタフェース及び／又はアウトプットユーザインタフェースを含むが、それらに限定されない。インプットインタフェースは、ユーザインプットの兆候を受信するように構成されている。アウトプットユーザインタフェースは、ユーザへの、音声の、映像の、機械的な、若しくは他のアウトプットフィードバックを提供する。インプットインタフェースの例は、キーボード、マウス、ジョイスティック、キーパッド、タッチスクリーン、ソフトキーなどを含むが、それらに限定されない。アウトプットインタフェースの例は、ＬＥＤディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、液晶ディスプレイ、アクティブマトリックス式有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、マイクロフォン、スピーカ、リンガ、バイブレータなどを含むが、それらに限定されない。例示の実施形態では、ユーザインタフェース２１０は、他のデバイス若しくはエレメントの中でも、スピーカ、マイクロフォン、ディスプレイ、キーボード、タッチスクリーンなどのうちのどれでも、又は全てを含み得るが、それらに限定されない。
【００３１】
ある実施形態では、ユーザインタフェース２１０は、データプリプロセッシングシステムで実装される。この点に関して、プロセッサ２０２は、例えば、スピーカ、リンガ、マイクロフォン、ディスプレイなどの、ユーザインタフェース２１０の一つ若しくはそれ以上のエレメントの、少なくとも一つの機能を制御するように構成されているユーザインタフェース回路を、含み得る。プロセッサ２０２及び／又はプロセッサ２０２を含むユーザインタフェース回路は、例えば、少なくとも一つのメモリ２０４などのメモリに格納され、プロセッサ２０２へアクセスする、一つ若しくはそれ以上のソフトウエア及び／又はファームウエアなどの、コンピュータプログラム命令を介して、ユーザインタフェース２１０の一つ若しくはそれ以上のエレメントの一つ若しくはそれ以上の機能を制御するように構成され得る。
【００３２】
ある実施形態では、命令のセットは、システム２００の機能の処理で用いられる。命令のセットは、プログラム又はソフトウエアのフォームであればよい。ソフトウエアは、システムソフトウエア若しくはアプリケーションソフトウエアのフォームであればよい。データプリプロセッシングシステム２００は、インターネットなどのネットワークにおいて利用可能であるコンピュータ実装アプリケーションを介して促進され得る。
【００３３】
例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合により本明細書に記載の他のコンポーネントと共に、システム２００に生データに関してプリプロセッシングを実施させるように構成されている。生データは、種々のデータソースからアーカイブされる。生データは、製造プロセス、加工プラント、実験室プロセスなどから生じ得る。データプリプロセッシングは、生データを、データマイニング、分析、診断及び予測のために更に利用され得るフォームに、変換する。本明細書では、例示の実施形態では、システム２００は、加工プラントから取得されるデータを利用するとして記載されている。加工プラントは、多数のサブユニットから様々な周期でデータを生成するが、生データの欠損値、ノイズ及び使用不可能データ、不条理な値（例えば、加工プラントの場合では、範囲外の稼動条件、負の性質のパラメータなど）などの、種々の問題点も、含む。システム２００は、データのプリプロセッシングを実行する４つのモジュールを含む。
【００３４】
種々のソースからアーカイブされる生データは、データ収集プロセスでの障害により誤りのある一つ若しくはそれ以上のパラメータを除去するためにフィルタされなければならない。このことは、統合データを取得するデータフィルタリングモジュール２１４により実行される。データフィルタリングモジュール２１４は、標準偏差、ゼロ四分位範囲（ＩＱＲ）などの情報を通過しないパラメータを除去するために利用される。更に、データフィルタリングモジュール２１４は、ノイズのあるパラメータを円滑化するカーマンフィルタを利用する。データフィルタリングモジュール２１４は更に、図４を参照して詳細に説明される。
【００３５】
データフィルタリングモジュール２１４から取得される統合データは、一つ若しくはそれ以上の異常値を除去してフィルタされたデータを取得するマルチレベル異常値分析モジュール２１６により、利用される。統合データは、パラメータの正常範囲の外のデータポイントを含むことがあり、これらのデータポイントは異常値と称される。異常値の存在は、パラメータ及び統計的推定の、過大化したエラー及び実質的歪みに繋がり得る。統計的推定は予測値であるが、異常値はデータプリプロセッシングシステムにノイズを加えデータプリプロセッシングシステムの正確性を減少させるものであるから、異常値があれば該予測値は正確に予測され得ない。マルチレベル異常値分析モジュール２１６は、複数の異常値除去モデルの組み合わせである。本明細書では、異常値除去モデルは、領域知識ベース異常値モデル、箱髭図モデル、及びＺスコアモデルを含む。領域知識ベース異常値モデルは、マルチレベル異常値分析モジュール２１６の第１レベルを形成し、箱髭図モデル及びＺスコアモデルは、第２レベルを形成する。統合データにおける異常値は、領域知識ベース異常値モデルを利用して最初に除去され、続いて、箱髭図モデル及びＺスコアモデルは、統合データにおける残余の異常値を除去してフィルタされたデータを取得するために利用される。マルチレベル異常値分析モジュール２１６は更に、図５を参照して詳細に説明される。
【００３６】
更に、フィルタされたデータは、欠損データを特定して補完する多変量インピュテーションモジュール２１８により利用される。利用可能な生データは、多数の欠損データを有することがある。生データは、計測の頻度がより少ないパラメータを含むことがあり、これらのパラメータは更なる分析が要求される。種々のパラメータの利用可能性は、多変量インピュテーションモジュール２１８の内部に存在する利用可能性モジュール２２０により、計算される。更に、パラメータの利用可能性に基づいて、利用可能性モジュール２２０はパラメータを、ＶＥＷＭＡ（指数関数的加重移動平均）、ＶＥＭ（期待値最大化）、及びＶＬＶＣＦ（最終値繰越）とカテゴリー化する。利用可能性モジュール２２０によるカテゴリー化は更に、図６を参照して詳細に説明される。カテゴリー化に基づいて、欠損パラメータは、ミッシングパターン分析モジュール２２２を利用して補完される。該ミッシングパターン分析モジュール２２２も、補完されたデータを取得するのに用いられる多変量インピュテーションモジュール２１８の内部に存在する。ミッシングパターン分析及びインピュテーションのプロセスは、図７と図８の夫々を参照して詳細に説明される。
【００３７】
更に、補完されたデータは、クラスタリングモジュール２２４によりクラスター化される。クラスタリングは、一つ若しくはそれ以上の稼動レジームに基づいて実行される。クラスタリングは、種々の稼動条件を区別するように実行される。クラスタリングモジュール２２４は最初に多数のクラスターを識別し、続いて補完されたデータは所定の数のクラスターに分別される。取得される補完されたデータは、ｋ平均法を用いて多数のデータセットにクラスター化される。最適なクラスターの数は、シルエット法を用いて計算される。
【００３８】
更に、システム２００は、パラメータのクラスタリングが毎回、パラメータの同じ区分を与えるときまで、データプリプロセッシングを繰り返す。繰り返しプロセスは、クラスタリングが異常値の影響を受ける際には、実行される。繰り返しプロセスは、異なるクラスターで取得される観察及びポイントに基づいて、終了する。データプリプロセッシングのプロセスは更に、図３を参照して説明される。
【００３９】
図３は、ある実施形態に係る、データプリプロセッシングのための方法３００のプロセスフローを表すフロー図を示す。ある実施形態では、データプリプロセッシングのための方法３００は、システム、例えば、システム２００（図２）にて実装され得る。
【００４０】
方法３００のステップ３０２にて、一つ若しくはそれ以上のソースから生データが受信される。生データは、例えば、製造業、プロセス工業、実験室データなどに関連するデータに属し得るが、それらに限定されない。
【００４１】
ステップ３０４にて、生データは、生データからノイズを除去するデータフィルタリングモジュール２１４（図２）を利用してフィルタされる。標準偏差などの情報を提供しない、生データ内の情報は、生データから除去されてステップ３０４にて統合データを取得する。
【００４２】
ステップ３０６にて、一つ若しくはそれ以上の異常値は、マルチレベル異常値分析モジュール（図２）により統合データから除去される。統合データは、パラメータの正常範囲の外であるデータポイントを含み得るが、これらデータポイントは異常値と称される。統合データは、原料品質、製造品質、製品品質、サイズ分析、１日の消費量データ等の、異常値分析を経ていないパラメータを含む。これらのパラメータは最初特定され、マルチレベル異常値分析モジュール２１６による異常値分析に対して考慮されない。統合データにおける残余のパラメータから、異常値は最初に、領域知識ベース異常値により除去されるが、本明細書では異常値はパラメータの領域に基づいて除去される。例えば、温度などのパラメータは、加工プラントの場合には負の値とならないが、圧力センサは、吸引ベース（負のみ）に、若しくは、特定される必要がある正（吸引圧力は通常、正の値に成り得ない）に、成り得る。よって、負の温度値及び正の吸引圧力値を有するパラメータは、異常値と考えられ、領域知識ベース異常値モデルにより除去される。領域知識ベース異常値の除去の後、箱髭図モデルとＺスコアモデルの組み合わせが、異常値分析及び除去に利用されて、フィルタされたデータを取得する。異常値除去プロセスは更に、図５を参照して詳細に説明される。
【００４３】
更に、加工プラントの場合、またステップ３０６にて特定される特定の機器の誤動作により生じ得る明白な異常値がある。
【００４４】
ステップ３０８にて、フィルタされたデータにおける個々のパラメータは、発生頻度若しくは利用可能性がチェックされる。本明細書では、発生頻度及び利用可能性の用語は、全体を通じて相互に交換可能に用いられている。発生頻度に基づいて、フィルタされたデータにおけるパラメータは、ＶＥＷＭＡ、ＶＥＭ、及びＶＬＶＣＦなどの、三つのカテゴリーに分類される。ステップ３０８は、多変量インピュテーションモジュール２１８の内部に存在する利用可能性モジュール２２０により実行される。９０％より大きい利用可能性を有するパラメータはＶＥＷＭＡに分類され、７０％より大きいが９０％より小さい利用可能性を有するパラメータはＶＥＭに分類され、７０％より小さい利用可能性を有するパラメータはＶＬＶＣＦに分類される。ステップ３１０にて、ステップ３０８における分類に基づいて、多変量インピュテーションモジュール２１８（図２）の内部に存在するミッシングパターン分析モジュール２２２によりミッシングパターン分析が実行される。フィルタされたデータの内部に存在する多数パラメータのミッシングパターンは、パラメータの、利用可能性の季節性（例えば、データを記録するパターンが、週に一度利用可能なデータである）に基づいて、ＶＳＥＡＳＯＮＡＬ若しくはＶＵＮＳＥＡＳＯＮＡＬとしてカテゴリー化される。
【００４５】
ステップ３１２では、ステップ３０８及びステップ３１０に基づいて、パラメータの欠損値が、指数関数的加重移動平均法、期待値最大化時系列インピュテーション法、及び最終値繰越法を利用して、計算される。ＶＥＷＭＡとしてカテゴリー化されるパラメータは、指数関数的加重移動平均法を利用して補完され、ＶＬＶＣＦとしてカテゴリー化されるパラメータは、最終値繰越法を利用して補完される。一方でＶＥＭとしてカテゴリー化されるパラメータは、ＶＬＶＣＦとＶＥＷＭＡとから統合され補完されたデータを利用して補完され、単独のデータセットを形成して欠損パラメータに関する全てのパラメータの効果を用いて、補完されたデータを取得する。よって期待値最大化（ＥＭ）時系列インピュテーション法は、変数の残りを補完するのに用いられる。
【００４６】
ステップ３１４では、補完されたデータは、様々な稼動レジームに基づいてｋ平均法を用いて種々のデータセットにクラスター化され、第１のセットのクラスターを取得する。最適なクラスターの数は、シルエット法を用いて計算される。例えば、ロードは５０％から１００％へ変更され得る。５０％における条件は、１００％における条件とは異なるものである。これらの異なる稼動条件はクラスタリングを用いて特定される。
【００４７】
ステップ３１６では、クラスタリングが完了後、ステップ３０６からの繰り返しが再開する。繰り返しの第２のラウンドの完了後、第２のセットのクラスターが得られる。第２のセットのクラスターが第１のセットのクラスターと同様であれば、ループ出口基準が満たされ、プロセスが終了する。二つの連続するクラスターセットが類似しないならば、ループ出口基準は満たされず、繰り返しプロセスが３０６から継続する。二つの連続するクラスターのセットが類似であることが見出されるときまで、繰り返しプロセスは継続し、このことにより、データプリプロセッシングの技術が完結する。
【００４８】
図４は、例示の実施形態に係る、データフィルタリングの方法４００のプロセスフローを表すフロー図を示す。ある実施形態では、プロセス４００は、データフィルタリングモジュール２１４（図２）を介して、システム、例えば、システム２００（図２）にて実装若しくは実施され得る。一つ若しくはそれ以上のソースからアーカイブされる生データは、システム２００により受信される。プロセス４００は、生データの予備的クリーニングを示す。ステップ４０２にて、無視し得る変数、若しくはゼロ四分位範囲（ＩＱＲ）を有するパラメータが除去される。ステップ４０４にて、取得されるデータは一つ若しくはそれ以上の異常値、即ち、他のパラメータと遠隔するデータを除去することにより、フィルタされる。本明細書では、明白な異常値の例は、特定の機器が誤作動しているとき明白な異常値である−９９９９９等の値が生成され得る、というものである。明白な異常値は、生データの性質に基づいて下方の及び上方のカットオフ値を定義することにより、除去される。ステップ４０６にて、重要変数パラメータが、原料品質、製造品質などの、領域知識を用いて特定される。これらのパラメータは、異常値の除去を回避されるものであり、一方で他のパラメータからは、領域外の値が除去され（例えば、特定のプラントに対しては、パラメータの値は−１０ｅ５から１０ｅ８の間で無ければ成らず、この範囲の外の全ての他の値は除去される）、統合データが得られる。統合データは、図５に示すように、システム２００により異常値分析のために利用される。
【００４９】
図５は、例示の実施形態に係る、異常値分析の方法５００の例示のプロセスフローを表すフロー図を示す。ある実施形態では、プロセス５００は、マルチレベル異常値分析モジュール２１６（図２）を介して、システム、例えば、システム２００（図２）にて実装若しくは実施され得る。データフィルタリングモジュール２１４から取得される統合データは、異常値分析に利用される。最初にパラメータが特定されるが、それらに関して異常値分析は実施されない。異常値分析は、残余の数のパラメータに関して実施される。マルチレベル異常値分析モジュール２１６の第１のレベルは、一つ若しくはそれ以上の領域知識ベース異常値モデルを含む。領域知識ベース異常値モデルは、パラメータの領域に基づいて異常値を除去する。例えば、加工プラントデータでは、負の値である温度値は存在し得ない。よって、負の値を有する温度データに対するパラメータは異常値と見なされて除去される。
【００５０】
更に、マルチレベル異常値分析モジュール２１６の第２のレベルは、階層構造で配置される箱髭図モデル及びＺスコアモデルを含む。ステップ６０２では、パラメータが異常値分析を回避しなければならないか否かが分析され、イエスであれば異常値分析はステップ６０４にて停止する。イエスで無ければ、ステップ６０６にて、異常値の第１の量が、ファクターα（例えば、α＝３）を伴う箱髭図モデルを用いて計算される。ステップ６０８にて、異常値の第１の量は所定の閾値と比較される。ステップ６１０にて、異常値の第１の量が所定の閾値よりも小さいならば、異常値は箱髭図モデルを用いて除去される。異常値の第１の量が所定の閾値以上であるならば、ステップ６１２のようにファクター２α（例えば、２α＝６）を伴う箱髭図モデルを用いて、更にステップ６１４のようにファクターβ（例えば、β＝３）を伴うＺスコアモデルを用いて、異常値の第２の量が計算される。箱髭図モデルとＺスコアモデルの両方から取得される異常値の第２の量は、ステップ６１６にて比較され、より小さい異常値の第２の量を与えるモデルは、統合データから異常値を除去するのに利用され、フィルタされたデータが取得される。例えば、ファクター２αを伴う箱髭図モデルにより取得される異常値の第２の量が、ファクターβを伴うＺスコアモデルにより取得される異常値の第２の量よりも大きいならば、ステップ６１８にて異常値を除去するのにＺスコアモデルが利用され、そうでないならば、ステップ６２０にて特定のパラメータのために異常値を除去するのに箱髭図モデルが利用される。更に図６にて説明するように、システム２００により、補完されたデータを取得するのにフィルタされたデータは更に利用される。
【００５１】
図６は、例示の実施形態に係る、利用可能性分析の方法６００の例示のプロセスフローを表すフロー図を示す。ある実施形態では、プロセス６００は、多変量インピュテーションモジュール２１８（図２）を介して、システム、例えば、システム２００（図２）にて実装若しくは実施され得る。異常値分析の後、フィルタされたデータにおける種々のパラメータの利用可能性を査定するために、データ利用可能性統計が、利用可能性モジュール２２０及びミッシングパターン分析モジュール２２２により、実行される。ステップ６０２にて、パラメータの利用可能性が利用可能性モジュール２２０によりチェックされる。本明細書では、パラメータの利用可能性は、パラメータがある値を有する機会のパーセントを示す。例えば、加工プラントの温度は毎日計測されても、１００日のうち１０日につきデータが欠損することもあり、そのような場合、パラメータ温度は９０％の利用可能性を有すると考えられる。パラメータの利用可能性に基づいて、それらはＶＥＷＭＡ、ＶＥＭ、及びＶＬＶＣＦとしてカテゴリー化され、種々の方法を用いて補完される。ステップ６０４にて、９６％以上の利用可能性を有するパラメータは、ＶＥＷＭＡとしてラベル付けされる。ステップ６０６にて、７０％と９０％の間の利用可能性を有するパラメータは、ＶＥＭとしてラベル付けされる。ステップ６０８にて、７０％以下の利用可能性を有するパラメータは、分析のためのＭＰＡモジュール２２２により考慮に入れられる。７０％の条件は、加工プラントの場合、原料品質などのキーインプットパラメータに対しては緩和される。というのは、それらパラメータにおける欠損は、分析が一般に手作業で実施されることや種々の他の理由から、サンプリングの数がより少ないことに帰せられるからである。ステップ６１０では、パターンに追随しないパラメータは無視される。例えば、欠損のどの種類のパターンにも追随しない原料パラメータは、ＭＰＡモジュール２２２により分析から排除される。ステップ６１２にて、ＭＰＡモジュール２２２は、７０％より小さい利用可能性を有し欠損パターンが季節性であるパラメータをＶＬＶＣＦとして分類する。欠損パターンは、パラメータのデータ利用可能性の経時的なパターンであり、例えば、データが２日間利用可能であり続いて２日間利用不可能であるなら、そのようなパラメータは性質上季節性であると考えられ、一方でパラメータが週に一度、若しくは２週に一度、利用可能であるならば、そのようなパラメータは性質上、非季節性であると考えられる。（実験室データ等の）データの不定期なサンプリングは考慮に入れられる。季節性及び非季節性としてのパラメータの分類は更に、図７にて説明する。
【００５２】
図７は、例示の実施形態に係る、欠損パターン季節性チェックの方法７００の例示のプロセスフローを表すフロー図を示す。ある実施形態では、プロセス７００は、ＭＰＡモジュール２２２（図２）を介して、システム、例えば、システム２００（図２）にて実装若しくは実施され得る。ＭＰＡモジュール２２２は、パラメータの欠損の性質を、季節性及び非季節性として特定する。ＭＰＡモジュール２２２は、欠損をアルファベットに、非欠損値をある別のアルファベットに、変換する遺伝子マッピングに基づく。個々の欠損パターンの頻度は、テキストマイニングアルゴリズム／ルールに基づいて、全体パラメータのタイムラインで計算される。欠損パターンは、欠損への寄与が最大限となるパラメータにおいて、検索される。特定のパラメータがあるタイプの欠損を示すならば、他のパターンの発生がゼロに近い、機会の最大限の数は、不定期にサンプルされる若しくは季節性の変数（例えば、週に一度計測される品質パラメータ）と称される。欠損データの補完のプロセスは図８にて説明する。
【００５３】
図８は、例示の実施形態に係る、多変量インピュテーションの方法８００の例示のプロセスフローを表すフロー図を示す。ある実施形態では、プロセス８００は、多変量インピュテーションモジュール２１８（図２）を介して、システム、例えば、システム２００（図２）にて実装若しくは実施され得る。利用可能性モジュール２２０から取得されるデータの種々のカテゴリーは、以下のモデルを利用して補完される。
【００５４】
ｉ）次の値が観測されるまで、最後の観測値が全ての欠損値へコピーされる最終値繰越の単変量モデルを利用して、ＶＬＶＣＦパラメータは補完される。ＶＬＶＣＦパラメータはあまり変動しないと仮定されるためＶＬＶＣＦパラメータがたまに意図的に計測される欠損パターンとして、単変量インピュテーションモデルは利用される。
ｉｉ）パラメータは４％より小さい欠損パターンを有し大量では無いので、指数関数的加重時系列インピュテーションモデルを利用することにより、ＶＥＷＭＡパラメータは補完される。
ｉｉｉ）ＶＬＶＣＦ及びＶＥＷＭＡから補完されたデータをＶＥＭと統合し、単独データセットを形成して、多変量インピュテーションモデルを用いて欠損変数への全てのパラメータの影響を利用することにより、ＶＥＭパラメータは補完される。よって、期待値最大化（ＥＭ）時系列インピュテーションモデルは残余のパラメータを補完するのに利用される。ＥＭモデルインピュテーションは、多変量関係と共に時系列トレンドを考慮に入れることにより、実施される。
【００５５】
多変量インピュテーションモジュール２１８から取得される、補完されたデータは更に、クラスタリングモジュールによりクラスター化するのに利用される。データは様々なクラスターに入り得るので、単独のセットの異常値除去の動作、及び、全体データセットへのインピュテーションは、誤った結果へ導くものとなり、よって繰り返しプロセスが実装される。
【００５６】
図９Ａ、９Ｂ、９Ｃ、９Ｄ及び９Ｅは、データフィルタリングにより取得されるデータセットの例を表すフロー図を示す。図９Ａは、種々のデータソースから取得される生データを示す。図９Ｂは、領域知識ベース異常値モデルを利用する異常値の除去の後の、統合データを示す。更に、図９Ｃは、システム内に存在するマルチレベル異常値分析モジュールによる異常値の除去の後の、フィルタされたデータを示す。
【００５７】
図９Ｄは、多変量インピュテーションモジュールによりインピュテーションを実行した後に、取得される補完されたデータを示す。図９Ｅは、システムによる異常値の除去及びインピュテーションの、最終の繰り返しの後に、取得される最終データを示す。
【００５８】
データプリプロセッシングのための本発明は、パラメータの分布に依存して、データセットに対して、種々の異常値分析モデルから自動的に選択する、統合ルールベース及び知識ベースのアプローチを提供する。システムは、サンプリング頻度が低いキークオリティパラメータの特定も実行する。更に、システムは、プリプロセッシングステップを実行する間、種々の稼動レジームを考慮に入れる。インピュテーションステージの間、その特定の観測に対して、値が異常値により補完される機会があり、このことは、クラスタリングプロセスを実行する間、システムにより考慮される。更に、データプリプロセッシングのためのシステムは、異常値分析及び多変量インピュテーションを実行する、最小限のユーザインプットによる繰り返しプロシージャを提供する。
【００５９】
特定の実装及び実施形態の関する前述の記載は、第三者が、現在の知識を適用して、種々の利用例に対して包括的概念から乖離すること無くそれら特定の実施形態を即座に変更し及び／又は適用することができる、本明細書の実装及び実施形態の包括的性質を完全に明らかにするものであり、従って、それらの適用及び変更は、開示する実施形態の均等物の意味及び範囲の内部で、理解されるべきであり理解されることを意図するものである。当然ながら、本明細書で採用される語句又は用語は、説明のためのものであり限定のためのものではない。従って、本明細書の実施形態は好適な実施形態の観点で記載されているが、本明細書の実施形態は、本明細書に記載する実施形態の精神及び範囲の内部で変更して実施し得る、ということを当業者であれば認識するであろう。
【００６０】
種々の実施形態を参照して、前述の記載が示されている。本出願の属する技術分野の当業者であれば、既述の構造及び動作の方法は、原理、精神及び範囲から有意に乖離すること無く、実施され得る、ということを理解するであろう。
【図１】
2018113018.tif 000003
【図２】
2018113018.tif 000004
【図３】
2018113018.tif 000005
【図４】
2018113018.tif 000006
【図５】
2018113018.tif 000007
【図６】
2018113018.tif 000008
【図７】
2018113018.tif 000009
【図８】
2018113018.tif 000010
【図９Ａ】
2018113018.tif 000011
【図９Ｂ】
2018113018.tif 000012
【図９Ｃ】
2018113018.tif 000013
【図９Ｄ】
2018113018.tif 000014
【図９Ｅ】
2018113018.tif 000015
【外国語明細書】
2018113018.tif 000016
2018113018.tif 000017
2018113018.tif 000018
2018113018.tif 000019
2018113018.tif 000020
2018113018.tif 000021
2018113018.tif 000022
2018113018.tif 000023
2018113018.tif 000024
2018113018.tif 000025
2018113018.tif 000026
2018113018.tif 000027
2018113018.tif 000028
2018113018.tif 000029
2018113018.tif 000030
2018113018.tif 000031
2018113018.tif 000032
2018113018.tif 000033
2018113018.tif 000034
2018113018.tif 000035
2018113018.tif 000036
2018113018.tif 000037
2018113018.tif 000038
2018113018.tif 000039
2018113018.tif 000040
2018113018.tif 000041
2018113018.tif 000042
2018113018.tif 000043
2018113018.tif 000044
2018113018.tif 000045
2018113018.tif 000046
2018113018.tif 000047
2018113018.tif 000048
2018113018.tif 000049
2018113018.tif 000050
2018113018.tif 000051