(57)【要約】適応的システムモデリング方法を提供する。システムのベースライン有意性シグネチャを使用することにより選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生する。入力特徴及びその他の特徴のスーパーセットもベースライン有意性シグネチャを使用することにより選択する。スーパーセットに対応するシステムから収集したデータをオンラインで維持する。オンラインスーパーセットデータを使用して判別分析を実施することにより、システムの新たな有意性シグネチャを周期的に又は間欠的に決定し、且つシステムにおける進化的変化を検知するために使用する。【特許請求の範囲】
【請求項１】
適応的システムモデリング方法において、
システムの複数個の候補特徴からベースライン有意性シグネチャを使用することにより入力特徴のセット及び前記入力特徴及びその他の特徴のスーパーセットを選択し、
前記選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生し、
前記システムから収集した入力特徴及びその他の特徴のスーパーセットに対応するオンラインデータを維持し、
前記候補特徴の判別分析を実施するために前記オンラインスーパーセットデータを使用することにより前記システムの新たな有意性シグネチャを決定し、
前記新たな有意性シグネチャ及び前記ベースライン有意性シグネチャを比較することにより前記システム内の進化的変化を検知する、
ことを包含している方法。
【請求項２】
請求項１において、更に、前記新たな有意性シグネチャを使用することにより新たな入力特徴を選択することを包含している方法。
【請求項３】
適応的システムモデリング方法において、
判別分析を実施することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し、
複数個の候補特徴から入力特徴のセット及び前記入力特徴及びその他の特徴のスーパーセットを前記ベースライン有意性シグネチャを使用することにより選択し、
前記選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生し、
前記システムから収集した入力特徴及びその他の特徴のスーパーセットに対応するオンラインデータを維持する、
ことを包含している方法。
【請求項４】
請求項３において、更に、
付加的な入力特徴データに基づいて前記システムモデルによる予測の精度を評価し、
前記システムモデル予測の精度が所定の精度レベルより低い場合に前記候補特徴の別の判別分析を実施することにより前記システムの新たな有意性シグネチャを決定し、
前記新たな有意性シグネチャを使用することにより新たな入力特徴を選択する、
ことを包含している方法。
【請求項５】
請求項４において、前記付加的な入力特徴データがオンライン収集データから得られる方法。
【請求項６】
適応的システムをモデル化する方法において、
判別分析を実施するためにデシジョンツリー方法を使用することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し、
システムの複数個の候補特徴から前記ベースライン有意性シグネチャを使用することにより入力特徴のセットを選択し、
前記選択した入力特徴のセットに対応するデータを使用することによりシステムモデルを発生する、
ことを包含している方法。
【請求項７】
マシンにより読取り可能なプログラム格納装置において、請求項１の適応的システムモデリング方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
【請求項８】
マシンにより読取り可能なプログラム格納装置において、請求項３の適応的システムモデリング方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
【請求項９】
マシンにより読取り可能なプログラム格納装置において、請求項６の適応的システムをモデル化する方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
【請求項１０】
コンピュータシステムにおいて、
プロセッサ、
前記コンピュータシステムにより読取り可能なプログラム格納装置であって、請求項１の適応的システムモデリング方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置、
を有しているコンピュータシステム。
【請求項１１】
コンピュータシステムにおいて、
プロセッサ、
前記コンピュータシステムにより読取り可能なプログラム格納装置であって、請求項３の適応的システムモデリング方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置、
を有しているコンピュータシステム。
【請求項１２】
コンピュータシステムにおいて、
プロセッサ、
前記コンピュータシステムにより読取り可能なプログラム格納装置であって、請求項６の適応的システムをモデル化する方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置、
を有しているコンピュータシステム。
【請求項１３】
伝送媒体内に実現されるコンピュータデータ信号において、
ベースライン有意性シグネチャを使用することによりシステムの複数個の候補特徴から入力特徴のセット及び前記入力特徴及びその他の特徴のスーパーセットを選択し且つ前記選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生させるためのモデル発生コードを包含する第一セグメント、
前記システムから収集した前記入力特徴及びその他の特徴のスーパーセットに対応するオンラインデータを維持するためのデータ収集コードを包含している第二セグメント、
前記候補特徴の判別分析を実施するために前記オンラインスーパーセットデータを使用することにより前記システムの新たな有意性シグネチャを決定し且つ前記新たな有意性シグネチャを前記ベースライン有意性シグネチャと比較することにより前記システムにおける進化的変化を検知するためのモデル評価コードを包含している第三セグメント、
を有しているコンピュータデータ信号。
【請求項１４】
伝送媒体内に実現されているコンピュータデータ信号において、
判別分析を実施することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し、複数個の候補特徴から前記ベースライン有意性シグネチャを使用することにより入力特徴のセット及び前記入力特徴とその他の特徴のスーパーセットを選択し、且つ前記選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生するためのモデル発生コードを包含している第一セグメント、
前記システムから収集した前記入力特徴及びその他の特徴のスーパーセットに対応するオンラインデータを維持するためのデータ収集コードを包含している第二セグメント、
を有しているコンピュータデータ信号。
【請求項１５】
伝送媒体内に実現されているコンピュータデータ信号において、
判別分析を実施するためにデシジョンツリー方法を使用することによりシステムの現在の挙動のベースライン有意性シグネチャを決定するための判別分析コードを包含している第一セグメント、
前記ベースライン有意性シグネチャを使用することにより複数個の候補特徴から入力特徴のセットを選択し且つ前記選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生させるためのモデル発生コードを包含している第二セグメント、
を有しているコンピュータデータ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は数値モデリングに関するものである。特に、本願は適応的システムモデリング及びモデル評価に関するものである。
【背景技術】
【０００２】
数値モデリングは、典型的に、ダイナミックシステムの挙動を近似するか又はモデル化することが可能なコンピュータプログラム又はソフトウエアモジュールを発生させることを包含している。システムは入力パラメータのグループ及び該入力パラメータを適用することにより予測することが可能な出力値の対応するグループとしてシステムモデルを介して特性付けることが可能である。システムモデルの１つの目的は、その基礎となるダイナミックシステムの予測乃至は予見を可能とさせることである。
【０００３】
数値モデリングの多くはマシンラーニング即ち機械学習の傘に入る。機械学習は、通常、ソフトウエアシミュレーションを使用することに物理的又は手順的システムの挙動を特性付けることを包含している。その目的は、そのシステムの挙動の予測又は予見を可能とすることである。例えば、株価の良好な予見を介して利益を上げるか又は損失を回避することが可能である。同様に、その他のシステムの場合に、何らかの予備知識を介して何らかの種類のリスクを回避するか又は利益を得ることが可能である。これは占いではなく、むしろシステムの過去の挙動及び、多分、外部の影響に対するその過去の反作用に基づく予見である。これらの予測においては本来的な何らかのエラーが存在しており、且つそのゴールはこのエラーを最小とすることである。
【０００４】
機械学習は、又、「ブラックボックスモデリング」とも呼ばれる。何故ならば、システムは、通常、１組の入力と出力とに還元され、且つそのシステムの内部の働きに対してはほとんど又は全く考慮されないからである。
【０００５】
機械学習は、例えば、システムの内部的メカニズムを決定することに依存する第一原理モデリングのようなその他のタイプの数値モデリングとは異なっている。複雑且つ興味のあるシステムの場合には、第一原理モデリングは非常に困難であり、多分高価であり、且つ多分不可能である。
【０００６】
図４の例示的なシステムにおいては、その出力は株の終値における予測価格である。このシステムへの入力は、他の株の価格及びアクティビティ等の市場要因及び例えば石油価格及び小売販売等の市場に影響を与える外部要因である。株式市場にほとんど経験がない場合であっても、モデル入力の可能な数は潜在的に著しいものであることを容易に理解することが可能である。株の価格の最も顕著なインジケータに焦点を合わせるものでない限り、スーパーコンピュータであってもこのシステムをモデル化するタスクを達成することは不可能な場合がある。
【０００７】
典型的な数値モデリングプロセスは、モデル入力として取扱うためのシステム特徴の選択を包含している。最も簡単なシステムの場合を除いて、可能な入力特徴のセット即ち組は、典型的に、入力の管理可能なセット即ち組へ減少される。少なくとも、特徴減少はシステム出力にほとんど影響を与えることのない特徴を除去し且つ静的であると思われる特徴を除去することに努力する。通常、処理時間を減少させるばかりでなく計算上のリソースに対する必要性を減少させるために、出力に与える影響がより少ない特徴を選び出すための試みが行われる。何故ならば、モデルの管理可能性は、典型的に、分析及び処理用リソースに依存するからである。
【０００８】
数値モデリングプロセスは、典型的に（ａ）データのある百分率を占める多数の既知のデータからのトレーニング即ち訓練を介してモデルが発生されるトレーニング又はラーニング即ち学習フェーズ、（ｂ）訓練したモデルの精度がテストされるモデルバリデーション即ち妥当性検査又はテストフェーズである。
【０００９】
システム入力と出力のペアリングは、しばしば、「パターン」と呼ばれる。数値モデルを構築するために、トレーニングセットと呼ばれる１組のパターンが発生される。効果的なモデルを発生させるために、このトレーニングセットはシステムの挙動に関するモードのほとんど（全てではないにしても）を表わすパターンを包含すべきである。特定のパターンにおける入力パラメータの特定のグループと関連する出力のグループは、その入力のグループがそのシステムに適用された場合にそのシステムから収集される実際の出力とすることが可能である。代替的に、そのパターンにおける出力は、その入力のグループがそのシステムに適用される場合の所望の出力のグループとすることが可能である。
【００１０】
ラーニング即ち学習フェーズにおいて、典型的にはコンピュータプログラム又はソフトウエアモジュールで実現されるラーニング即ち学習方法がトレーニングセットにおけるパターンで適用され、且つその際に数値モデルがシステム挙動を学習し、そのことはモデルパラメータとして格納される。数値学習方法は従来知られている。本発明の方法は従来の学習方法の何れか特定のものの適用に制限されるものではない。
【００１１】
訓練したシステムモデルは、典型的に、テストフェーズにおいて、「テストセット」と呼ばれる別の組のパターンに対してテスト即ち妥当性検査される。このテストセットはトレーニングセット内に存在していたパターンを包含すべきではない。テストフェーズは、テストセット内の各パターンに対して、そのモデルにより予測されるシステム出力をテストパターンにおける予測される出力と比較することを包含している。そのモデルの精度又は実効性はモデル予測がパターン出力とどの程度よく一致するかにより図られる。
【００１２】
訓練したモデルの精度が充分なものであると思われる場合には、そのモデルはフィールドに配備され且つシステム挙動を予測するために使用される。そのモデルが配備された後に、そのモデルの精度は、そのモデルがその実効性を失うか否かを検知するために、周期的に再評価することが可能である。モデルの性能が劣化すると、そのモデルは付加的なデータで再訓練することが可能である。然しながら、そのモデルが動作している間にデータが継続的に収集されなかった場合には、新たなデータを収集するため及び／又はいまや顕著なものとなった入力をサーチするために多大な努力が必要となる場合がある。このサイクルは、モデルが有用性を超えて劣化したことをサイクルの遅い時期に発見することが可能であり、且つ発見されると、分析及び配備ステップを繰返し行わねばならないという付加的な欠点を有している。
【００１３】
幾つかのインスタンスにおいて、システム入力及びシステム出力に対応する新たなデータは、そのモデルが動作している間にオンラインで収集し且つ蓄積することが可能であり、且つそのモデルを再訓練する場合に使用することが可能である。然しながら、再訓練がそのモデルの精度を許容可能なレベルへ増加させることに失敗すると、以前に廃棄可能であると考えた入力特徴がいまや顕著なものとなるようにシステムが進化したか否かを決定するためにオリジナルの分析を繰返せねばならず且つ訓練及び配備のプロセス全体も繰返せねばならない。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
適応的システムモデリング方法が提供される。
【課題を解決するための手段】
【００１５】
一実施例においては、本方法は、ベースライン有意性シグネチャを使用することによりシステムの複数個の候補特徴から入力特徴のセット及び該入力特徴及びその他の特徴のスーパーセットを選択し、該選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生し、該システムから収集した該入力特徴及びその他の特徴のスーパーセットに対応するデータをオンラインで維持し、該候補特徴の判別分析を実施するためにオンラインスーパーセットデータを使用することにより該システムの新たな有意性シグネチャを決定し、該新たな有意性シグネチャを該ベースライン有意性シグネチャと比較することにより該システムにおける進化的変化を検知する、ことを包含している。本方法は、更に、該新たな有意性シグネチャを使用することにより新たな入力特徴を選択することを包含することが可能である。
【００１６】
本方法は、別の実施例によれば、判別分析を実施することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し、該ベースライン有意性シグネチャを使用することにより複数個の候補特徴から入力特徴のセット及び該入力特徴とその他の特徴のスーパーセットを選択し、該選択した入力特徴のセットに対応するデータを使用することによりシステムモデルを発生し、且つ該入力特徴と該システムから収集したその他の特徴のスーパーセットに対応するオンラインデータを維持することを包含している。本方法は、更に、付加的な入力特徴データに基づいて該システムモデルによる予測の精度を評価し、該システムモデル予測の精度が所定の精度レベルより低い場合には該候補特徴の別の判別分析を実施することにより該システムの新たな有意性シグネチャを決定し、且つ該新たな有意性シグネチャを使用することにより新たな入力特徴を選択することを包含している。該付加的な入力特徴データはデータのオンライン収集から得ることが可能である。
【００１７】
別の実施例によれば、本適応的システムモデリング方法は、判別分析を実施するためにデシジョンツリー方法を使用することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し、該ベースライン有意性シグネチャを使用することにより複数個の候補特徴から入力特徴のセットを選択し、且つ該選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生する、ことを包含している。
【発明を実施するための最良の形態】
【００１８】
本開示は、適応的システムモデリング及びモデル評価のためのツール（方法及びシステムの形態において）を提供する。例えば、この開示の方法は、ダイナミックシステムをモデル化するためにソフトウエアで実現されるシステム内に組込むことが可能である。本方法は、従来のプログラム格納装置又はコンピュータにより読取り可能な媒体上に格納され、及び／又はコンピュータネットワーク又はその他の伝送媒体を介して伝送される１個又はそれ以上のコンピュータプログラム又はソフトウエアモジュールで実現することが可能である。
【００１９】
本開示のシステムモデリング及びモデル評価方法は、デプロイ即ち配備されたモデルがその有用性の終わりに到達したようにシステムが進化乃至は発展した場合に、モデリングサイクルを新たに開始させることを減少させるか又はその必要性を取除く。
【００２０】
図１に示した例示的実施例に基づいて、システム内における進化的変化を検知するために適用することが可能な適応的システムモデリング方法は、該システムの複数個の候補特徴からベースライン有意性シグネチャ（ｓｉｇｎａｔｕｒｅ）を使用することにより入力特徴のセット即ち組と該入力特徴及びその他の特徴のスーパーセット（ｓｕｐｅｒｓｅｔ）即ち上位的な組を選択することを包含している（ステップＳ１１）。システムモデルは、該選択した入力特徴セットに対応するデータを使用することにより発生される（ステップＳ１２）。該入力特徴と該システムから収集したその他の特徴のスーパーセットに対応するデータがオンラインで維持される（ステップＳ１３）。該候補特徴の判別分析（ｄｉｓｃｒｉｍｉｎａｎｔ  ａｎａｌｙｓｉｓ）を実施するために該オンラインスーパーセットデータを使用することにより該システムの新たな有意性シグネチャを決定する（ステップＳ１４）。該システムにおける進化的（ｅｖｏｌｕｔｉｏｎａｒｙ）即ち発展的変化が、該新たな有意性シグネチャと該ベースライン有意性シグネチャとを比較することにより検知される（ステップＳ１５）。該新たな有意性シグネチャを使用することにより入力特徴の新たなセットを選択することが可能である。
【００２１】
別の例示的実施例に基づく適応的システムモデリング方法を図２を参照して説明する。あるシステムの現在の挙動のベースライン有意性シグネチャが判別分析を実施することにより決定される（ステップＳ２１）。該ベースライン有意性シグネチャを使用することにより複数個の候補特徴から入力特徴のセットと該入力特徴及びその他の特徴のサブセットとが選択される（ステップＳ２２）。該選択した入力特徴セットに対応するデータを使用することによりシステムモデルが発生される（ステップＳ２３）。該入力特徴及び該システムから収集したその他の特徴のスーパーセットに対応するデータをオンラインで維持する（ステップＳ２４）。本方法は、オプションとして、更に、付加的な入力特徴データ（それはデータのオンライン収集から得ることが可能である）に基づくシステムモデルによる予測の精度を評価し（ステップＳ２５）、該システムモデル予測の精度が所定の精度レベルより低い場合には（ステップＳ２６）、該候補特徴の別の判別分析を実施することにより該システムの新たな有意性シグネチャを決定し（ステップＳ２７）、且つ該新たな有意性シグネチャを使用することにより新たな入力特徴を選択する（ステップＳ２８）、を包含することが可能である。
【００２２】
別の実施例（図３）によれば、本適応的システムモデリング方法は、判別分析を実施するためにデシジョンツリー（ｄｅｃｉｓｉｏｎ  ｔｒｅｅ）即ち決定木方法を使用することによりシステムの現在の挙動のベースライン有意性シグネチャを決定し（ステップＳ３１）、該ベースライン有意性シグネチャを使用することにより複数個の候補特徴から入力特徴のセットを選択し（ステップＳ３２）、且つ選択した入力特徴セットに対応するデータを使用することによりシステムモデルを発生する（ステップＳ３３）を包含している。
【００２３】
Ａ．概観
システムを特性付けるために使用可能な多様な数値モデリング技術が存在している。この技術は、統計的技術から例えばニューラルネットワーク、ファジー論理、及びデシジョンツリー等のツールへの範囲に亘っている。この開示の方法は、数値モデリング技術の何れに対しても適用することが可能である。問題を特徴の候補セットから有意性のあるシステム入力を識別することとして枠組みを決めることが可能である場合には、この開示の方法を適用することが可能である。
【００２４】
モデル化されるシステムはＮ個の使用可能な入力特徴を有することが可能である。標準の特徴減少技術を介して、且つ、多分、第一原理（例えば、該システムの全て又は一部に対する因果論）を介して、モデル入力内に包含するためにＭ個の特徴（ｆｅａｔｕｒｅ）のコアグループを選択することが可能である。更に、残存するＮ−Ｍ個の特徴の幾つかは、未だに、モデル出力に影響を与える場合があり、且つＰ（＞Ｍ）個の入力特徴を有することがモデルの精度を改善する場合がある。然しながら、Ｍ個の入力特徴に対するシステム応答は以下に説明するように時間と共にドリフトするか又は変化する場合がある。
【００２５】
モデリング技術へ提供する前に入力を処理するために候補特徴のセットから使用するための入力及び該入力を処理するための方法を選択することは少なくともモデリング技術を選択することと同じ重要性があり（且つ多分より重要である）。
【００２６】
データを減少させる場合の第一の場面は、静的であるか又は他の特徴と強く相関している特徴を見付け出すことを包含する場合がある。このような特徴はモデリングの努力に対して何ら寄与するものではなく且つリソース即ち資源を消費する。これらの特徴を包含することは、又、モデリング方法がデータ内の有用なパターンを見付け出すことを妨害する場合がある。
【００２７】
静的な特徴及び相関している特徴を除去した後に、使用可能なコンピューティングリソースを考慮しながら出力に対して最も有意性を有する特徴を選択する。通常、入力セットを実行可能な入力の数へ減少させるために比較的高い有用性の特徴を廃棄することに直面することはない。その代わりに、しばしば、少なくとも分析の時において、出力に関して有意性のある効果を有するものと思われない多数の特徴を識別することが可能である。残存する有意性のある特徴はシステムの使用可能なモデルを発生するために使用することが可能である。例えば、図４のシステムは、図５に示したように、ブラックボックス表現へ還元させることが可能である。
【００２８】
この開示の方法は、モデリングのために使用されるＰ個の入力特徴の相対的な有意性を特性付けるために判別分析を使用する。有意性による特徴のランク付けは、本明細書においては、「有意性シグネチャ（ｓｉｇｎｉｆｉｃａｎｃｅ  ｓｉｇｎａｔｕｒｅ）」と呼称する。判別分析の１つのタイプは、デシジョンツリーを発生するための方法を介して与えられる。ツリー発生の副産物は、ツリー内の特徴がシステム出力に対しての有意性に従ってランク付けされることである。
【００２９】
モデル内に現在包含されているＰ個の入力の相対的な有意性によりモデルを特性付けることに加えて、Ｎ−Ｍ個の特徴に対するデータが収集され且つオンラインで維持される。Ｎ−Ｍ個の特徴のグループは、以後、モデルにおいて活性化されたＰ個の特徴のスーパーセットと呼称する。この戦略は、Ｍをゼロへ設定すること、及びＮ個の可能な特徴からＰ個を選択することへ拡張することが可能である。
【００３０】
モデルは、トレーニング即ち訓練プロセスにおいて使用しなかったデータとコンサルティングすることにより評価することが可能であり、そのことは、典型的に、そのモデルがどれ程よく将来のデータを予測するものであるかの客観的な尺度を提供する。図４に対応する例の場合には、最も最近の月からのデータを取っておくことを除いて、直線の年からのデータで訓練することが可能である。モデルが構築されると、最も最近の月からのデータを使用することによりそのモデルをコンサルト（ｃｏｎｓｕｌｔ）即ち調べることが可能である。
【００３１】
例えば株式市場のように迅速に発展乃至は進化するシステムにおいては、モデルの性能が時間と共に劣化することが予測される。モデルが何時劣化するかを図るために、モデルを周期的に、又は連続的に評価することが可能である。
【００３２】
モデルが劣化すると、それは、少なくとも、より最近のデータに関して再訓練することが可能である。幾つかのインスタンスにおいては、入力特徴セットは変化させることは必要ではない。何故ならば、入力間の相互作用が変化しているからである。然しながら、幾つかのその他のインスタンスにおいては、現在の入力のセットでは充分に正確なモデルを得ることは不可能である。例えば、システムが入力セットにおいて現在表わされていない特徴により強く影響を受ける場合があり、又は、多分、入力セット内の１つの特徴が最早出力に有意性をもって影響を与えるものではなく、従って、除去することが可能な場合がある。図４の例においては、通常の市場の力に対する市場の反作用を乱す国際的対立等の新たな外部の要因が市場に影響を与える場合がある。
【００３３】
モデルはその有効性について周期的に（又は間欠的に）再評価される。テストセットに対する最小の精度についてチェックすることに加えて、Ｎ−Ｍ個の候補特徴のセットが、再度、現在最も判別性のある特徴を決定するために判別分析を介して特性付けされる。可能な入力特徴の有意性において著しい変化が存在していた場合には、新たな有意性シグネチャを使用することにより適切な特徴を容易に再選択することが可能であり且つモデルは使用可能なオンラインデータに対して訓練される。オリジナルの分析におけるように、データの幾つかの百分率は新たなモデルのバリデーション（ｖａｌｉｄａｔｉｏｎ）即ち妥当性検査のために止めておく。
【００３４】
データマイニング又は機械学習アプリケーションにおいては、データは頻繁にモデル化されているシステムから継続的に収集される。従って、予測又は予見を得るためにモデルのコンサルテーション（ｃｏｎｓｕｌｔａｔｉｏｎ）調査のために新たなデータを使用することが可能である。第二に、このデータは、モデルの性能を測定するために予測が妥当性検査されるまでオンラインで維持することが可能である。
【００３５】
この開示の方法を完全に利用するために、現在使用した入力特徴のスーパーセットが収集される。他の特徴がそのシステムの挙動に対してより有意性があるものとなったことを決定するために周期的な有意性シグネチャを使用することが可能である。異なるカテゴリのコードがより有意性のあるものとなると、派生された特徴を再編することが可能である。
【００３６】
上述したように、データは可能な入力の全てに対してオンラインで収集することが可能であり、且つ特徴選択は全ての使用可能な特徴の範囲に亘り必要に応じて実施することが可能である。モデルを入力のある固定したコアグループでアンカーし（特に、システムの全て又は一部に対し第一原理理論が使用可能である状況下において）候補特徴の制限したグループ内において変化させることにより最善の結果が予測される場合がある。コア特徴は、良好なモデルの基礎となることが可能であり、且つ特徴の変化可能なセットはシステム挙動における進化的な変化又はドリフトに対してモデルを調節することを可能とする。
【００３７】
この開示の一実施例に基づく方法を図６に例示してある。初期的には、このシステムは、データ予備処理条件の選択及び決定に対する分析を行う。次に、本システムはモデル化され且つオンラインに乗せられる。
【００３８】
然しながら、従来の機械学習又はデータマイニング手順と異なり、入力として現在使用される特徴のスーパーセットがオンラインで維持される。周期的な予測が行われ且つモデル精度が測定される。精度が劣化した場合にはモデルがより最近のデータで再訓練することが可能である。
【００３９】
ベースライン有意性シグネチャがシステムの現在の挙動を特性付けるために維持される。候補入力特徴のスーパーセットがオンラインで維持される。そのスーパーセットに対して、現在モデル内に包含されている特徴がモデリングのために現在使用されていない付加的な特徴と共に収集される。該スーパーセットは、そのモデルに対する全ての可能な入力特徴に至るまで拡張することが可能である。判別分析を周期的に又は間欠的に実施して特徴のスーパーセットの有意性シグネチャを得て使用可能な特徴の相対的な影響における変化を発見することを可能とする。システム内の有意性のある進化的変化が検知されると、モデル入力として新たな有意性のある特徴が選択される。スーパーセットがオンラインで維持されているので、新たなモデルの訓練及びデプロイメント即ち配備のためにすぐさまデータを使用することが可能である。
【００４０】
モデル入力の再選択の後であっても、モデルは適切に動作する場合があり、そのことは現在モニタ又は収集されていない新たな特徴が有意性のあるものとなる場合に予測される場合がある。拙い性能が頻繁に発生することは、システムが初期的分析フェーズにおいて良好に理解されていなかったことを表わす場合がある。
【００４１】
幾つかの従来のモデル化方法は、モデルの周期的な再訓練を包含している。二三の従来の技術は再訓練の前にモデル用パラメータの動的調節を与えるものであるが、このような従来の調節は、典型的に、モデル入力を変化させることを包含するものではない。モデル入力の選択は、通常、分析フェーズの一部と考えられ、且つ、通常、モデルが運転中となった後に実施されることはない。
【００４２】
本開示の方法は、単純に新たなデータで再訓練することと比較して実質的な利点を提供する。ベースラインとしての及びシステムドリフトの進行中の尺度としての有意性シグネチャの使用は、システムモデルをプロアクティブに適応させることを可能とする。判別分析を介して得られた有意性シグネチャは、モデルをシステムドリフトに対して適応させるためにモデル入力のセットに対する調節を決定するために使用することが可能である。
【００４３】
Ｂ．判別分析
判別分析は、結果に対して最も有意性がある特徴を識別するための方法である。各特徴の有意性の尺度を与える有意性シグネチャは判別分析から得られる。この有意性における変化、特に有意性のある特徴のセットにおける変化は、システムの進化又はドリフトを表わす場合がある。
【００４４】
多数の知られている判別分析技術の何れかを、この開示の方法において使用して、システムの有意性のある入力特徴、及びそれらの相対的な有意性のランキングを決定することが可能である。一実施例によれば、単純な判別分析技術として統計的相関を使用することが可能である。判別分析に対してより進んだ統計的方法も存在している。
【００４５】
１．判別分析及びデシジョンツリー
別の実施例に基づく判別分析方法は、有意性シグネチャを発生するためにデシジョンツリー技術を使用する。デシジョンツリーは、データの前に実施したカテゴリ化に従ってデータセットを分割する上で最も効果的なものである特徴を識別する。ツリーが構築されるに従い、最も有意性のある特徴（例えば、重要性の降順において）が、しばしば情報理論手段又は統計的有意性テストに従って、本方法を介して選択される。
【００４６】
デシジョンツリーは、しばしば、予見を行うための唯一のモデリングツールとして使用される。然しながら、幾つかのインスタンスにおけるデシジョンツリーは、データパターンの完全なカテゴリ化を提供するものではない場合がある。発生されたツリーが正確な分類を許容するものでない状況においては、確率的分類も実施する場合がある。ツリーが正確な分類を許容するか否かに拘わらず、それはシステムの有意性のある特徴を決定するために有用なものである。
【００４７】
あるデシジョンツリー方法は、記号及び数字データの容易な統合を可能とする。結合した記号及び数字特徴の有意性のテストは純粋に統計的な方法の場合により困難なものである場合がある。
【００４８】
判別分析は、何らかの態様で既に分類されているデータセットに対してデシジョンツリー方法を適用することを包含する場合がある。デシジョンツリー方法は、再帰的にデータセットを分割してそれらの分類に従って分離されたサブグループ（ｓｕｂｇｒｏｕｐ）を得る。該ツリーの各レベルにおいて、特徴の１つ又はそれ以上に関するテストを使用してデータの分割を行う。そのゴールは、通常、判別子検知を得るために最も効果的なテストを実施することである。
【００４９】
デシジョンツリーの主要な使用は、未知のデータの分類である場合がある。然しながら、付加的な利点として、サブツリーの均一な区画化へ通じるテストのシーケンスを１つの規則として表現することが可能である（例えば、ｆ１＝０及びｆ２＝１及びｆ３＝２である場合に、ｏｕｔ１＝ｘ及び何らかの確率である）。このような規則は、システムモデルの人間の観察者及びユーザがシステムがどのようにモデル化されているか及びどれ程効果的にされているかをよりよく理解することを可能とする場合がある。
【００５０】
図７はコーティング配合システムに対する例示的なデシジョンツリーを示している。データは硬化の後の付与したコーティングの厚さに従ってカテゴリ化される。デシジョンツリーは、それらの重要性の順番においてコーティングの厚さに関して最も有意性のある影響を示している。
【００５１】
図７に示した例示的なデシジョンツリーはノード及び分岐から構成されている。ノード０はルートノードであり、ノード１−３は分岐ノードであり、ノード４−１２はリーフ（ｌｅａｆ）ノードである。分割されるポピュレーションは既に分類されている。図７に対応するデータセットの場合、各パターンはその厚さのレーティングが「低」又は「高」であるか否かに従って分類された。特徴（例えば、粘度）は「低」、「中」、又は「高」としてビンに入れられている。該ツリーの各ノードと関連してそのノードにおけるクラスサブポピュレーション（ｓｕｂｐｏｐｕｌａｔｉｏｎ）のカウントがある。例えば、コーティングデータツリーにおけるノード０は高厚さ値の場合に２５個のパターンを包含しており且つ低厚さ値の場合５９である。そのゴールは、リーフノードが均一なものであることを有することであり、従って始めのポピュレーションを完全に分割することである。然しながら、リーフノードは、しばしば、圧倒的多数の単一クラスのみを有する。時折、明確な大多数は存在しない。何故ならば、ツリー成長手順は故意に停止させたものであるか又はノードを更に分割するためのデータに対するテストが存在しないからである。図７に示した例においては、確率的分類又は規則のみが該ツリーのこの分岐に対して使用可能であるに過ぎない。図７におけるノード４，５，６，８，１２は非均一なリーフノードの例である。図７から、以下の規則を引出すことが可能であり、即ち、（ａ）表面張力（ｓｕｒｆｔｅｎｓ）及び粘度（ｖｉｓｃｏｓｉｔｙ）が最も有意性のある特徴であり、（ｂ）低表面張力及び中乃至高の粘度を有する配合は通常厚いコーティングを形成し、（ｃ）低い表面張力及び低い粘性は、通常、薄いコーティングとなり、（ｄ）中乃至高の表面張力は通常薄いコーティングとなる。
【００５２】
該規則は、これらの配合パラメータが塗布したコーティングの厚さにどのようにして影響を与える蓋然性があるかのドメインエクスパートの知識又は直感に対してチェックを行うことが可能である。これらの規則の幾つかはドメインエキスパートにとってよく知らないものである場合があり、又はそれらが疑問を呼ぶ場合がある。これらは検証することが可能であり、且つ真実である場合には、システムに関する発見された知識を表わす。
【００５３】
該ツリーは、データセットを適切に分割する各レベルにおけるテストを選択することにより成長される。通常、各可能なテストが順番に試行され且つ多様関数（ｄｉｖｅｒｓｉｔｙ  ｆｕｎｃｔｉｏｎ）に従って最もよいものが選択される。個々の多様関数について以下に説明する。多様関数は、どれ程よく特徴テストがデータセットを分裂させるかを測定することを試みる。ほとんどの方法は、全体的なレベルに亘り同一のテストを選択し、その場合には、選択した特徴テストが１度のみ使用される。ツリーの更に下の方に適用される特徴テストの評価は信頼性がより低い。何故ならば、ポピュレーション全体を表わすことが漸進的により少ないサブポピュレーションに依存するものだからである。
【００５４】
デシジョンツリー方法は、ほぼバイナリ及び非バイナリ方法に分割することが可能である。バイナリ方法はノード当たり２個の分岐を可能とするに過ぎない（例えば、０又は１、Ｙｅｓ又はＮｏ等）。非バイナリ方法は、ノード当たり多くの分岐を可能とし、且つより藪の多いツリーとなる。非バイナリ方法は、多分、性質上基本的にバイナリではないデータに対してよりよく適している。然しながら、ほとんどどのデータも２個のビン内に入れることが可能であり、又は派生したフィールドをデータがバイナリに見えるように形成することが可能である。非バイナリツリーはより藪が多い傾向となるので、それらは、各分割が判別子としてより信頼性のないものである点に迅速に到達する。更に、非バイナリツリーにおいて時折見られる効果は、ある特徴テストがデータセットを多数の小さなほぼ均一のノードへ破砕する場合があるということである。１つの例は、人の名前に関してテストを行う場合であり、それはデータベース内の全ての人に対してリーフノードを発生する場合がある。このようなテストはシステムに関しての有用な規則を発生する蓋然性はない。
【００５５】
本方法は、可能性のある特徴値に対して有限数のラベル又はレンジを使用する。本方法は、該値の離散化（ｄｉｓｃｒｅｔｉｚｅ）又はビニング（ｂｉｎｎｉｎｇ）により連続的な数字データに対して使用することが可能である。第一近似として、任意の数の均一に離したレンジを各数字特徴に対して選択し、且つその特徴値をそれが該当するレンジ又はビンによりラベル付けする。例えば、特徴の全体的に観察したレンジは３つの等しいインターバルに分解することが可能であり、且つ低、中、高にラベル付けすることが可能である。ある研究者は、このビニング操作を更に最適化することを推奨している。１つの方法は、該値を線形的にクラスタ化し且つそのデータをして最もよいビンレンジを選択させることである。代替的に、このビニング操作は、特徴テスト評価と結合させることが可能である。
【００５６】
デシジョンツリー方法は、又、ツリーの複雑性を減少させるためにプルーニング（ｐｒｕｎｉｎｇ）即ち枝刈りと呼ばれるプロセスを使用する。該方法の幾つかは、プルーニングの効果性を図るためにバリデーション（ｖａｌｉｄａｔｉｏｎ）セットを使用する。あるものは、枝刈りすべき分岐を識別するためにトレーニングデータのみを使用する。プルーニングを妥当性検査するためにトレーニングセットからデータを控えることはほとんど不必要な場合がある。プルーニング方法は、最小ノードカウントを特定する程度に簡単なものである場合がある。プルーニングは、又、特徴テストの連結及び／又は否定を介してツリーの分岐を単一の分岐へ合体させるべく試みることにより達成することが可能である。ある研究者は、複雑なツリーは、それがコンパクトであり且つ容易に人間にとって理解可能なものとなるまで枝刈りすべきであると信じている。その他の者は、複雑なシステムは一見複雑なデシジョンツリーへ通じる場合があることを指摘している。
【００５７】
デシジョンツリー方法は教師付き学習（ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）の例である。これらの方法は、他の教師付き学習方法に悪影響を与える過剰訓練の同一の危険性に陥りやすい。過剰訓練はトレーニングパターン間の基礎となる関係を学習するのではなく、トレーニングパターンの学習シグネチャとなる。過剰訓練したモデルは、そのトレーニングセットにおけるパターンに対して適切に出力を予測する場合があるが、トレーニングセット内にはなかったパターンに対して良好に予測することに対して一般化するものではない。過剰訓練の危険性を最小とするために、トレーニングデータセットを使用してツリーを成長させ且つテストセットを使用してテストすることが可能であり、又はトレーニングデータに対して特異的な分岐を除去するために枝刈りすることが可能である。代替的に、何らかのタイプの停止条件を適用することが可能である。
【００５８】
２．デシジョンツリーの例示的適用例
ツリー及び関連規則を比較的簡単なものに維持するために、図７におけるツリーはツリーを２個のレベルにのみ拘束することから発生したものである。然しながら、この拘束の場合でも、２つの最も有意性のある特徴に関連する比較的強い表明を行うことが可能である。以下の特徴は図７に対応する例の中に包含されている、即ち粘度（ｖｉｓｃｏｓｉｔｙ）、表面張力（ｓｕｒｆｔｅｎｓ）、パーソリッド（ｐｅｒｓｏｌｉｄｓ）、ニップクレア（ｎｉｐｃｌｅａｒ）、ｒａ、ｒｐ、ｒｌである。これらの特徴はコーティング配合の化学的性質であり且つ塗布したコーティングの厚さを予測するために使用される。
【００５９】
ニュージェント（Ｎｅｕｇｅｎｔ（商標））技術は教師付きでなく（ｕｎｓｕｐｅｒｖｉｓｅｄ）且つ自立的なエージェントを提供し、それは挙動をモデリングし且つ予測する場合及び１つのシステムモードから別のシステムモードへの遷移の確率を予測する上で非常に良好である。ニュージェントはほとんどの場合に人間が行うことが不可能なシステムの挙動パターンを検知することが可能である。
【００６０】
ニュージェントの２つのタイプ、即ち値予測及びイベント予測を使用する場合がある。
【００６１】
イベント予測ニュージェントはシステムの挙動の履歴的データのクラスタリングを介して訓練され、入力データにおける値及び論理条件により定義されるイベントの特定のタイプを探し出す。例えば、イベント予測ニュージェントオブジェクトは、予測されるべきイベントの名前及び入力データによるイベントの定義でコンフィギャ（ｃｏｎｆｉｇｕｒｅ）即ち形態特定される。次いで、該ニュージェントは履歴的データから訓練される。生産において、新たなデータが供給される場合に評価を行うためにイベント予測ニュージェントが呼ばれ、且つその出力はそのデータ内の定義したイベントの検知、異常な状態の検知、あるイベントの予測、将来の時間期間内に発生するあるイベントの確率、又はそれから訓練した履歴的データと比較して本システムが異常に挙動していることの警報の何れかである。
【００６２】
値予測ニュージェントは予測モデリングに対するニューラルネットのインプリメンテーションである。値予測ニュージェントオブジェクトは適切に正規化された独立的及び従属的履歴的データからの既知の入力・出力対から得られるトレーニングセットで訓練される。生産において、独立的特徴の値が供給される場合に、値予測ニュージェントが呼ばれて従属性特徴の値を予測する。例えば、入ってくるデータは値予測ニュージェントニューラルネットワークモデルを介してパスされ、且つ該モデルが不知の変数の値を推定する。値予測の幾つかの例は、インベントリ（ｉｎｖｅｎｔｏｒｙ）レベルを予測し且つクライエントが特定の製品を購入するか否かを予測することを包含している。
【００６３】
デシジョンツリーモデリングは、ニュージェント値予測及びイベント予測モデルに対する補助的な方法である場合がある。デシジョンツリーは、システムモデルに有意性のある特徴をニュージェント技術者が見付け出し且つ包含させることを助ける場合があり、且つ効率的で且つコンパクトなシステムモデルを生成するために、予測されるべき出力にほとんど又は全く影響を有することのない特徴を除去することを可能とする。
【００６４】
コーティング配合モデルにおいて、トレーニングセット内に８４個のパターンがあり且つテストセット内に９個のパターンがあった。使用可能な特徴の全てを使用することにより得られる結果を図８に示してある。
【００６５】
特徴セットを選択するために判別分析を適用することは、良好なモデルを開発するための特徴の数を減少させることを可能とする。トレーニングセットに対して識別された有意性のある特徴は、有意性の順番において、表面張力、粘度、パーソリッド、ｒｌである。図９はコーティングの厚さを特性付ける上での各特徴の相対的な効果を示している。相対的な効果性はエントロピと呼ばれる尺度で一滴により測定される。値予測ニュージェントは、これら４つの最も有意性のある特徴のみを使用して訓練することが可能であり、そのことは使用可能な特徴のフルセットの場合とほぼ同程度に良好な結果を達成する。図１０は減少させた特徴セットに対して得られたＲ2値を示している。フルセット内における特徴の何れの間にも強い統計的な相関は存在しなかった。
【００６６】
この例において、使用可能な特徴のフルセットは僅かにより良好なＲ2値を発生した。然しながら、減少させた特徴セットに対するＲ2値は非常に許容可能なものであり且つ減少させた特徴セットを使用するモデルは未だに見ていないパターンに関してよりよい一般化を行うことが予測される場合がある。更に、判別分析の使用は、ある程度、ニュージェントのブラックボックスモデル内側のビューを与える規則を発生する場合がある。このタイプのデータの基礎をなす関係内への洞察は、ドメインエキスパートがニュージェントモデルを妥当性検査し且つ受付けることを助ける。
【００６７】
第二の例示的適用例は店舗における購買パターンを示すデータを使用する。該データの各パターンは選択した製品の購入した量を包含している。そのゴールは、製品購入のどの組合わせがワインの購入者である蓋然性のインジケータであるかを識別することである。この知識があると、ワインの小売商は更にワインを購入する最も蓋然性のある顧客に対して販売促進をターゲットとすることが可能である。データは、特定のブランドのワインの購入に対して１７個の異なる製品に対して存在している。図１１はワインの購入を予測するための１７個の製品全てを使用して得られた結果を示している。図１２はワインデータに対するデシジョンツリーの上側レベルを示している。図１３はワインデータにおける製品の相対的な有意性を示している。
【００６８】
出力はバイナリであるので（即ち、ワインが購入されたか否か）、Ｒ2はこのモデルの実効性の最善の尺度ではない。その代わりに、浮動小数点出力に対してスレッシュホールドを適用する。このスレッシュホールドより上の出力値はワインの購入を表わす。このモデルの出力に対して０．６のスレッシュホールドを適用すると、９４．４％正しい訓練精度を生じ、且つテスト精度は８８．９％である。このモデルは、テストセットにおける９個のパターンから１つの誤った予測をしている。
【００６９】
４個の最も有意性のある特徴のみを使用して、別のニュージェントモデルを訓練した。ニュージェント出力に対してスレッシュホールドを適用すると、９３．３％の訓練精度及び８８．９％のテスト精度が得られた。特徴のフルセットを使用するニュージェントモデル及び上部の４個の特徴のみを使用するモデルは、各々、同一のテストパターンに対して誤った結果を発生した。従って、１７から４個の特徴への減少は、基本的に、同一のモデル性能を発生した。これらの特徴のうちの２個は完全に静的なものであり且つそれらは従来の予備処理により除去した。然しながら、残存する特徴の間に強い相関は存在しなかった。それらのうちの多くの相対的な非重要性は直ちに明らかなものではない。
【００７０】
第三適用例は、ヘルプデスク（Ｈｅｌｐ  Ｄｅｓｋ）システムの性能をモデル化するためにニュージェントに対して特徴選択を助けるために判別分析を使用することを包含している。そのゴールは、サービスレベルアグリメント（ＳＬＡ）に従って割当てられた時間においてヘルプデスクコールが解決される蓋然性があるか否かを予測するものであった。
【００７１】
データの性質に関する一般的な知識に基づいて、種々の直接的及び派生された特徴をパターンにコンパイルした。完全な特徴セットを使用したニュージェントモデリングは比較的拙い結果を発生した。判別分析を適用することは減少したセット即ち組の有意性のある特徴を発生し、それは許容可能な予測を発生した。モデルの所望の出力はバイナリ予測であるので、連続的な値の出力に対してスレッシュホールドを適用しそれを０又は１へ拘束させる（即ち、ＳＬＡ違反か否か）。再度、Ｒ2値はこのタイプのニュージェントモデルを評価する場合に有用なものではない。スレッシュホールドを適用した後に、テストセットに関するモデルの精度は約９０％の正しさのレンジ内であった。識別された２番目に最も有意性のある特徴は顧客コードであり、それはＳＬＡ違反率に関して強い影響を有するものであることが予測される。然しながら、最も有意性のある特徴に関連して興味のある側面が存在していた。この特徴は、そのコールが違反となった蓋然性のある週のうちの日である。図１４はヘルプデスクデータに対するデシジョンツリーの上側のレベルを示している。
【００７２】
特定のコールに対するヘルプデスクの性能は、明らかに、そのコールがなされる週のうちの日に依存して変化する。全体的な違反率は約６１．７％であるが、それは週に亘って著しく変化し、即ち、日曜日（Ｓｕｎ）−１００％、月曜日（Ｍｏｎ）−７０．２％、火曜日（Ｔｕｅ）−８５％、水曜日（Ｗｅｄ）−４９％、木曜日（Ｔｈｕ）−４５．７％、金曜日（Ｆｒｉ）−４１．５％、土曜日（Ｓａｔ）−９２．３％である。週の始めにおいて最も高く且つ週の終わりに向かって幾分高くなる。１つのありうる説明は、週の中頃においてコールに対してサービスするために使用可能なより多くの時間及び／又はリソースが存在していることである。
【００７３】
３．付加的なデシジョンツリー方法
ＩＤ３（Ｉｔｅｒａｔｉｖｅ  Ｄｉｃｈｏｔｏｍｉｓｅｒ３）は非バイナリ方法であり、それは、多様関数に対する情報利得の情報理論尺度を使用する。Ｃ４．５及びＣ５．０はＩＤ３の後継であり、それらはエントロピ尺度を使用し且つツリーをプルーニングするため及びツリーの成長を制限するために付加的なストラテジを提供する。
【００７４】
情報利得（ｉｎｆｏｒｍａｔｉｏｎ  ｇａｉｎ）は、選択した特徴テストの適用した後のシステムエントロピにおける減少である。エントロピ（ｅｎｔｒｏｐｙ）はシステム内の無秩序又は非均一性の尺度である。ツリーの選択したレベルにおける各ノードはあるエントロピを有しており、且つノードエントロピは加重和として結合されてツリーレベルに対するシステムエントロピを生じる。各レベルにおいて、システムエントロピ、又は情報利得において最大の減少を与えるテストがそのレベルにおける可及的に最善のテストとして選択される。
【００７５】
Ｃ４．５及びＣ５．０は多様関数としての情報利得の代わりに利得比と呼ばれる尺度を使用する。利得比は特徴セットからの情報利得をそのテストにより作成されたサブセットの数により割算したものである。この尺度は上述したテストのタイプに不利益をもたらし、それはデータセット（例えば、人の名前）を破砕する。分割においてはるかにより少ないサブセットで妥当な情報利得を提供する別のテストが存在する場合には、その代わりにそれが選択される。
【００７６】
プルーニングに関して、ＩＤ３は最小ノード寸法に基づいて単純にツリーの成長を停止させる粉砕型のプルーニング技術を使用するか、又はテスト動作を停止させるための許容可能な最小エントロピを特定する。Ｃ４．５及びＣ５．０はベルヌーイの二項式に基づくツリーからの分岐をプルーニングするためのストラテジを提供する。Ｃ４．５／Ｃ５．０プルーニングストラテジによれば、そのノードにおいて支配的なクラスに対するリーフノードとしてそのノードを指定し且つ誤って分類される項目数を決定することにより、そのノードに対してエラー率が決定される。次いで、観察されるエラー率が過剰に楽観的なものであり且つ二項式及び選択した信頼レベルを使用してより悲観的なエラー率を置換するものと仮定する。この悲観的置換の後にある分岐がエラー率における増加を生じる場合には、それは枝刈りされる。Ｃ４．５及びＣ５．０はトレーニング即ち訓練のみならずプルーニング即ち枝刈りのためにもトレーニングデータを使用する。プルーニングを実現するためにトレーニングデータを使用することは効率的な場合がある。トレーニングデータを使用することの代替例として、プルーニングを実現するために二項式と共にテストデータを使用することが考えられる。
【００７７】
Ｃ４．５及びＣ５．０は、又、各レベルにおける特徴テストの組合わせのためにグルーピング関数（ｇｒｏｕｐｉｎｇ  ｆｕｎｃｔｉｏｎ）を使用する場合がある。これは、相乗的効果を検知することが可能であり、それにより同時的に適用される２つのテストは各々が単独的に適用されるよりもより効果的である。
【００７８】
Ｃ４．５及びＣ５．０はデシジョンツリーから規則を発生するために別のモジュールを使用する。その他の方法に対して、これは別のタイプのプルーニングと考えられる場合があり、それにより特徴値の連結及び否定を介して複数の分岐を単一の分岐へ合体させることが可能である。
【００７９】
カイ二乗オートマチックインタラクションディテクション（ＣＨＡＩＤ）は、多数の態様でＩＤ３、Ｃ４．５及びＣ５．０とは異なる方法である。ＣＨＡＩＤは異なる多様関数としてカイ二乗関数を使用する。カイ二乗多様関数を適用する場合に、ＣＨＡＩＤは過剰なフィッティングが発生する前にツリーの成長を停止させる。従って、ツリーを構築した後のプルーニングは不必要である。更に、それは厳格にカテゴリ的変数を取扱う。従って、ツリー発生手順を開始する前に連続的な変数はビンに入れられる。ＩＤ３、Ｃ４．５、Ｃ５．０は、多分、情報利得に基づいて、連続的な変数の動的ビニングを使用する場合がある。ＩＤ３、Ｃ４．５、Ｃ５．０のように、ＣＨＡＩＤは非バイナリ方法である。
【００８０】
ＣＨＡＩＤは、各可能な特徴テストの相対的な効果性を比較する。カイ二乗テスト、統計的有意性テストはＣＨＡＩＤ方法において多数の態様で使用される。特徴テストにより許容される分岐数は、統計的に有意性のある分割を発生するものに制限される。更に、各特徴テストの結果を比較する場合に、カイ二乗テストに基づいて最も有意性のある結果を発生する分割が各レベルにおける勝者である。カイ二乗テストは、更なる特徴テストが統計的に有意性のある結果を発生することを停止する場合にツリーの成長を停止させるために使用される。この最後の決定は、有意性スレッシュホールドの使用を包含しており、且つこれはＣＨＡＩＤ方法で使用可能な主要な調節用パラメータである。
【００８１】
徹底的なＣＨＡＩＤはＣＨＡＩＤに関する変形例である。各特徴テストに対する可能な分岐要因を評価する場合に、該可能な分岐を漸進的にカイ二乗テストに基づいて最も自己相似な２つのグループへ合体させる。このことは、基本的に、ツリーをバイナリとさせるべく拘束する。
【００８２】
分類及び回帰ツリー（ＣＡＲＴ）はバイナリツリー方法である。ＩＤ３／Ｃ４．５／Ｃ５．０ファミリのように、ＣＡＲＴは各特徴テストの効果性を図るために異なる多様関数を使用する場合がある。以下の多様関数を使用することが可能である。
【００８３】
（ａ）ｍｉｎ（Ｐ（ｃ１），Ｐ（ｃ２））、尚ｃ１及びｃ２はテストに対する２つの可能な結果クラスであり、Ｐ（ｃ１）及びＰ（ｃ２）はｃ１及びｃ２の相対的頻度であり、
（ｂ）２＊Ｐ（ｃ１）＊Ｐ（ｃ２）、
（ｃ）［Ｐ（ｃ１）＊ｌｏｇ（Ｐ（ｃ１））］＋［Ｐ（ｃ２）ｌｏｇ（Ｐ（ｃ２））］、エントロピ又は情報利得尺度とも呼ばれる。
【００８４】
該多様関数は各特徴テストの前後に評価され、且つ多様性において最大の減少を与えるものが勝者として宣言される。これは、特徴テストが使い尽くされるまで、又は任意の停止点に到達するまで（例えば、最小ノードカウント）、他の方法とほとんど同じように進行する。
【００８５】
ＣＡＲＴは候補サブツリーのプール即ち集まりを発生するために調節したエラー率関数［ＡＥ（ｔ）＝Ｅ（ｔ）＋ａ＊ＬｅａｆＣｏｕｎｔ（ｔ）］を使用する。１番目の候補は以下の如くにして選択される。該調節したエラー率は、パラメータが次第に増加される場合に、ルートノードを包含する可能なサブツリーに対して計算する。サブツリーの調節したエラー率がルートノードに対するものよりも大きくなる場合には、そのサブツリーを枝刈りする。２番目の候補は、１番目の候補サブツリーで開始してこのプロセスを繰返すことにより選択される。このプロセスは、ルートノードのみが残存するまで継続する。トレーニングデータにおいて使用されなかったデータのバリデーションセットを使用して該枝刈りした候補サブツリーのプールの中から選択する。そのバリデーションセットに関し最も低い全体的なエラー率を有するサブツリーが勝者であると宣言される。時折、ベスト即ち最善のサブツリーを評価するためにエラー率と共に費用関数（例えば、分類誤りの確率により乗算した何らかの重み）を適用する。トレーニング及びバリデーションセットを除いた３番目のテストデータセットは、最終的なサブツリーの予測又は分類能力を図るために使用することが可能である。
【００８６】
４．ビニング検討
完全に離散的なデータを除いて、ビニング（ｂｉｎｎｉｎｇ）は、上述した方法に対して実施することが可能な予備処理ステップである。該技術は、ｎ個のビンを採用することであり、それらはデータの観察されるレンジ全体に亘り等間隔に離隔されたレンジを有している。上述したように、データを多数の非代表的なサブグループへ迅速に断片化することを回避するためにビン数を最小とすることが望ましい。
【００８７】
上のコーティングの例に対応する図１５に示したデータの場合には、このタイプの線形ビニングが妥当な場合がある。ワインの例に対応する図１６は、様相がより指数的と思われる特徴データを示している。
【００８８】
線形ビン限界は、コーティング及びヘルプデスクの適用例に対して使用した。ワインの例の場合には、特徴データのほとんどの指数的様相を考慮に入れ、且つある値を超える購入量を一緒にビンに入れた。この指数的様相は、購入データの特性である場合がある。何故ならば、大量の消費者商品を購入することは比較的稀だからである。
【００８９】
その他の分布、特に正規化分布（即ち、ベル形状曲線）が発生することを予測するかもしれない。図１７はワインの例におけるストアブランド（Ｓｔｏｒｅ  Ｂｒａｎｄ）購入の分布を示している。このデータを正規化曲線に当て嵌めると約１５個のストアブランドの購入の平均を生じ、標準偏差は約８であった。この特徴は、３個のビン、即ちビン１：平均−１標準偏差未満の購入量（即ち、７項目又は未満）；ビン２：平均±１標準偏差以内の購入量（即ち、７乃至２１品目）；ビン３：平均＋１標準偏差を超えた購入量（即ち、２２又はそれ以上の品目）を発生することが可能である。自動化したビニングツールは個々の特徴データ内に存在する分布、従って、ビンを考慮に入れることが可能である。
【００９０】
メタデータ即ち先験的知識が使用可能である場合にはそれも使用することが可能である。例えば、ある特徴が日付であることが知られている場合には、その日付を週の日として表わし且つそれをビンに入れることが有用である場合がある。
【００９１】
５．プルーニング／停止条件
上述したように、ツリープルーニングはデシジョンツリーを独立的に適用するために重要である。デシジョンツリーのビニング及びプルーニング事項に関する依存性はその理由のうちの幾つかであり、それらは標準のニュージェント技術に対する相補的なツールと考えられる。プルーニング方法は、たとえニュージェントに対する補助としても使用することが可能である。
【００９２】
それは、しばしば、ツリー構築方法において発生し、ツリーの分岐に対して（即ち、森羅万象の何らかのサブポピュレーションに対して）非常に効果的である特徴テストは、ツリーの全体的なレベルに対して最も効果的なものとして選択されるものではない。このことは、局所的に効果的なテストは、それらが多分そうあるべきであるよりもより有意性が少ないものであるように見える場合がある結果を有している。又は、それらの有意性が完全にマスクされる場合がある。このことは、又、ツリーのその分岐に関連する規則を曇らせたり又はぼかしたりする結果を有している。この効果は、プルーニング手順の種々のものにより緩和される場合がある。プルーニングに対する別の代替物は、各サブポピュレーションに対して最適な特徴テストを見付け出すために、ツリーの各レベルにおける複数の特徴の選択である。然しながら、それは、該方法の計算上の複雑性を増加させる可能性がある。
【００９３】
最大ツリーレベル、又はＩＤ３の場合には最小エントロピ即ち最小エントロピドロップ等のその他のタイプの停止条件を使用することも可能である。時間が非常に重要な場合があるオンライン適用例の場合には、ツリーレベルを処理するための最大時間、又は全体的なツリーが特定される場合がある。
【００９４】
６．効率及び大規模データセット検討
該方法の各々は、評価される各特徴テストに対してデータセットを介してのパスを使用する。バイナリ及び非バイナリのものは与えられたデータセットに適用される場合に直接的に比較することは不可能である。何故ならば、それらは異なる数及びタイプの特徴を有しているからである。任意的ビニング又は適応的ビニングの努力及び特徴テスト評価は上述した方法に対して同等である。
【００９５】
プルーニング操作の比較はそれ程簡単明瞭ではない。プルーニングを完全に回避するＣＨＡＩＤがここでの勝者と見える場合がある。Ｃ４．５／Ｃ５．０と共に制限したプルーニングを使用することは、ＣＡＲＴよりも計算上の集約性がより少ないように見える。然しながら、Ｃ４．５／Ｃ５．０の規則発生モジュールを適用するための努力が拡張される場合には、それらの全体的なプルーニング負荷は同等である。Ｃ４．５／Ｃ５．０は、それがプルーニングを妥当性検査するためにトレーニングデータを使用する利点を有するものであるが、ＣＡＲＴはテストセットを読取るか又はトレーニングデータを抑制する。
【００９６】
モデル化されるシステムの多くが連続的な特徴変数を包含しているものと仮定する場合に、該特徴をバイナリフォーマットへ再構成するための努力は非バイナリ方法に対して有意性を与える。
【００９７】
充分な統計は、可能な特徴の発生及び共同発生のカウントのテーブルである。これは、特徴テストが再帰的に適用される間に、ＲＡＭ内に保持される情報の量を最小とするために実施される。この方法は、以下の２つの副作用を有している。連続的な変数を取扱っている場合、又は順序値型特徴を有するバイナリツリーの場合において、ビンカウントを発生させるために、そのビンレンジは既に決定されている。どのような形式の動的ビニング（例えば、情報利得を最大とするため）も既定である。又、データセット内のどの個別的なパターンがツリーの選択した分岐の形成に貢献したかが分からなくなる。適用した方法において信頼が得られると、然しながら、この知識は学究的な興味のものに過ぎない場合がある。この単一パス方法において考慮されない別の要因は、どのようにして究極的なレンジ、且つ、多分、特徴値のスケーリングを決定するかということである。適切にインデックスしたデータベースの場合には、最小、最大、及び多分その他の統計は全体的なデータベースのスキャンのコストなしでクエリで得られる場合がある。その他のデータセットの場合には、これは別のスキャンとなり、又はデータがメモリ内に保持される。スケーリング及びビニングをデシジョンツリー方法とは独立的に安定化させることが可能である場合には、これは大きなデータセットに対して魅力のあるオプションである場合がある。
【００９８】
実際に、前のパラグラフに記載した効果を取扱うために、データベースを介して有限数のパスに直面する場合がある。最初にビン統計を収集する２つのパスがほとんどの適用例において充分である場合がある。
【００９９】
７．デシジョンツリー製品
上のデシジョンツリー方法の１つ又はそれ以上を実現するソフトウエア又は関数ライブラリを供給する多数のソフトウエアベンダ又はその他の供給源が存在している。このような供給源のリストはウエブ上で見付けることが可能である。
【０１００】
デシジョンツリーツールの選択における要因のうちの幾つかは以下の通りである。デシジョンツリーツールは、補助的な方法として使用されシステムをモデリングする原理手段として使用されるものではない。然しながら、市販のデシジョンツリーアプリケーションの中で、典型的に、システムモデリングの唯一又は主要な手段として使用されるものがある。モデリングツールは、典型的に、そのビニングオペレーションにおいて種々の分布を考慮に入れるための特徴を有している。
【０１０１】
２番目の要因は、実世界の適用例は非常にしばしば連続的な値のデータが関与するということである。問題をバイナリ値型フォーマットへ再構成するための努力は、非バイナリツリー方法のうちの１つを採用するための動機となる場合がある。
【０１０２】
実世界のデータマイニング適用例は非常に大きな量のデータが関与する場合があるので、モデリングツールは、理想的には、上述したように充分な統計の減少させたセットを収集するためにデータベースを介して単一パスを可能とさせることである。単一パスツールへ向かって作業する場合に、ビニングパラメータがスキャンプロセスの前又はそれにおける早期に決定される。然しながら、モデリングツールは、静的及び動的の両方のビニングを使用するオプションを包含する場合がある。
【０１０３】
Ｃ．例示的なヘルプデスク適用例
図１８はヘルプデスクシステムを例示している。格納ＡＣＭＥ会社がそのコンピュータのサポートについて外部サービスと契約している。高品質のサービスを確保するために、ＳＬＡを導入し、外部サービスは２４時間以内に報告された問題を解決することとなっている。
【０１０４】
ヘルプデスクシステムは、ＳＬＡにより要求されるようにコールが２４時間以内に対処されるか否かを予測するために本開示の方法を導入することによりモデル化することが可能である。アドバンストヘルプデスク（ＡＨＤ）ソフトウエアツールを顧客のサービスレベルに悪影響を与える場合がある問題を予測する上でマネージャ及びコールセンター技術者を助けるために設けることが可能である。
【０１０５】
コールが適時な態様で対処されるか否かの影響を有するためにＡＨＤツールを介して種々の特徴が識別された。特徴の例は、問題を報告するグループ又は顧客、問題の優先度等を包含する場合がある。有意性がある場合のある１つの特徴はコールに関連する問題コードである。問題追跡システムにおいて数千個の可能なコードを定義する場合があり、そのうちの数百が実際にデータ内に表現されている。モデリングの努力において全ての可能な点又はたとえ蓋然性のあるコードを包含することは非効率的なものである場合がある。更に、時間と共に、問題のタイプの混合が発展する場合があることが予測される場合がある。そのソリューションは、任意の特定の時間において、ＳＬＡ違反に対し最も有意性のあるコードに関しモデル化することである。判別子分析を使用して上部Ｐ個の最も有意性のあるコードを選択し且つそれらをその他の有意性のある特徴と共に包含させる。問題コードのベースライン有意性シグネチャを維持する。
【０１０６】
上に概括したように、モデル精度を周期的に測定し且つ必要な場合には該モデルを再訓練する。次に、有意性シグネチャを再生し、且つモデルに対するコードを必要に応じて調節する。図１９は問題コードの混合がどのようにして時間と共に変化する場合があるかの一例を例示している。より高いランキングにおける新たなコードの存在は、多分、ヘルプデスクへ報告された問題のタイプにおけるシフト及びヘルプデスクがどのように良好に現在の問題を解決することが可能であるかにおける対応する変化を意味している。
【０１０７】
これらのコードのモデリング努力における挿入は、全体的なこのシステムに対する最も有意性のある特徴ではないが、所要の予測精度をそのシステムモデルの場合に達成されることを可能とした。有意性シグネチャを使用することはシステム進化及びモデル適応及び再訓練の迅速な検知を可能とした。これは、システムの小さいが変りやすい部分のモデルの使用を調節するための有意性シグネチャの使用の一例である。又、関連する入力特徴は単一フィールドから派生されるのでこの場合においては可能な特徴のスーパーセットはオンラインで維持されなかった。
【０１０８】
本開示の方法の一実施例に基づくＡＨＤツールについて図２０−３８を参照して以下に説明する。ＡＨＤツールのブロック図を図３０に示してある。
【０１０９】
リソースのプラニング及びリソースのバランシングの数日及び数週間前に、システム及びキュー負荷をマネージャが予見することを助けるためにコール即ち通話のレベルをモニタし且つ予見するためのＡＨＤツール内にニュージェントを包含させることが可能である。ニュージェントは、又、個々のオープンコールをモニタし、且つ、履歴的挙動パターンに基づいて、ＳＬＡに違反する危険性のあるコール即ち通話を識別し且つマネージャ及び該コールに対するユーザに対して警告するために設けることが可能である。個々のニュージェントはシステム挙動における進化的変化を評価するために適応されている。挙動パターンの多くは人間のみが違反の傾向を識別するのには複雑すぎる。ＡＨＤツールは、又、このようなコールの再割当て又は再優先度付けを行うためにマネージャ及びユーザを助ける。
【０１１０】
インストレーション
種々のセットアップ動作を実施するためにインストレーションウイザード（図３１）を包含させることが可能であり、該動作は１度又は数回実施されるにすぎない。インストレーションウイザードは、ユーザがニュージェントが動作するイシュモデル（ｉｓｓｕｅ  ｍｏｄｅｌ）を選択することを可能とするテンプレートをインストールすることが可能である。ユーザは、イシュをリクエスト（例えば、ユーザ問題又はイシュはＡＨＤシステムにおいて追跡される）のみに対して、チェンジオーダー（対応するリクエストに関連している）のみに対して、又はリクエスト及びチェンジオーダーの組合わせに対してマップすることが可能である。インストールしたテンプレートを使用して、ユーザはＡＨＤ内の個々のキュー及びサイトをモニタするためにニュージェントをカスタム化することが可能である。
【０１１１】
コンフィギュレーションユーティリティ
コンフィギュレーションユーティリティは、種々のシステムパラメータ及び定義の選択及び／又は管理を可能とするために設けることが可能である。
【０１１２】
コンフィギュレーションユーティリティは、ニュージェントコンフィギュレーション即ち形態の複数のタイプ及びインスタンスを提供することが可能である。例えば、ニュージェントの基本的なタイプは、ＣａｌｌＬｅｖｅｌニュージェント及びＳＬＡＶｉｏｌａｔｉｏｎニュージェントを包含することが可能である。典型的に、ＣａｌｌＬｅｖｅｌニュージェントの複数のインスタンスが可能である。ＳＬＡＶｉｏｌａｔｉｏｎニュージェントの複数のインスタンスも存在する場合がある。例えば、新たなニュージェントインスタンス（例えば、特定のキューに対して専用のニュージェント）をデプロイ即ち配備する場合に通常のタスクを実施するためにウイザードを設けることが可能である。更に、新たなスタイル及びタイプのニュージェントを定義するため又は標準のテンプレートをカスタム化するため、例えば：ニュージェントインスタンスインターバルの選択等；パターン発生及びモデリング内に包含させるための特徴セット及び関連クエリ；ＡＨＤイベントのニュージェントインスタンスとの関連性；ウインドの訓練（例えば、データの年を新たなモデル内に包含させること）；及びデータエージング（例えば、データをパージするための年齢）を行うためにエキスポートモードコンフィギュレーションを設けることが可能である。標準化した特徴セット及び関連する格納したクエリはＡＨＤのインストレーションと共に包含させることが可能である。コンフィギュレーションインターフェースは、所望される場合には、クエリ及び特徴セットの進化したカスタム化を提供することが可能である。
【０１１３】
動作するためにニュージェントインスタンスを選択した後に、図２０−２３におけるものと同様なタブ型インターフェースを、ニュージェントインスタンスと関連する集まり及びプロパティのエントリ及び／又は修正を可能とするために設けることが可能である。図２４はＡＨＤデータベースに対するデータベース接続情報をエンタするためのサンプルインターフェースを示している。このコンフィギュレーションモジュールは、適切である場合には、動的データベース（例えば、ＳＱＬ）クエリの代わりに、格納したデータベース手順を使用することを可能とする。該コンフィギュレーションモジュールは、ツールメニューを介してスクリプトファイルから／へ格納されているクエリをインポート／エクスポートするためのツールを提供することが可能である。更に、動的ＳＱＬクエリを観察及び／又は実行するためにテストクエリボタンを設けることが可能である。
【０１１４】
マネージャサービス
システム上で定義された各ニュージェントインスタンスに対するオブジェクト定義のプロパティにより決定されるスケジュール上の以下の機能性に対してマネージャサービス（図３２）を提供することが可能である。マネージャサービスがアクティブなニュージェントインスタンスに対するニュージェントモデルを見付けない場合には、それは履歴モードへスイッチし、その場合に、使用可能な履歴データが収集され、且つ一時的なモデルが訓練され且つ配備される。
【０１１５】
アクティブなニュージェントモデルがあると、マネージャサービスは、特定したインターバル（例えば、毎晩）、被管理オブジェクト格納部において定義される仕様を使用してオンラインデータからコンサルトパターンの集まりを構築する。この集まりはアクティブモデルに対してコンサルトを行うためにニュージェントプロバイダへ提供される。条件が保証する場合には（例えば、予測されたＳＬＡ違反）、オブジェクト定義内に特定されているイベントが通常のＡＨＤチャンネルを介して発生され、且つＡＨＤヒストリアン（Ｈｉｓｔｏｒｉａｎ）を介して報告される。
【０１１６】
コンサルト（ｃｏｎｓｕｌｔ）に続いて、閉じた項目に対するパターンを構築し且つ格納するためのプロセスが始められる。項目閉鎖に対する条件はオブジェクト定義内に特定されている。
【０１１７】
特定したインターバル（例えば、毎晩）において、評価プロセスがラン即ち稼動されて訓練プロセスから控除されたパターンをコンサルトする。結果に関する要約統計は保存され且つＡＨＤヒストリアンを介してビューイングのために使用可能とされる。評価プロセス期間中に、オブジェクト定義内に定義されている仕様に従ってＤｅｃｉｓｉｏｎＴｒｅｅプロセスがラン即ち稼動され、それは、有意性のあるカテゴリコードの混合が変化しているので、異なるコードを入力として使用してモデルが再訓練されるべきであることを識別する場合がある。評価プロセスが、精度が不充分であるか又はＤｅｃｉｓｉｏｎＴｒｅｅ分析により検知されたようにシステムの進化の何れかにより既存のモデルが不適切であることを判別する場合には、マネージャサービスはニュージェントモデルの再訓練を開始する。
【０１１８】
複数のニュージェントインスタンスのリソース集約的フェーズ（例えば、訓練）のオーバーラップを回避するために、各ニュージェントインスタンスのサンプリング（及びその他の）フェーズを効率的にスケジュールするために特徴が提供される。大きなロールアップ（ｒｏｌｌｕｐ）クエリはピークを外れた時間（例えば、昼食時間、夜間時間）においてランさせることが可能である。
【０１１９】
各ニュージェントインスタンスに対して、マネージャは現在のシステム条件に対して喚起すべき適切な方法を決定する。以下の方法のうちの各々は、与えられたニュージェントインスタンスに対して類似した方法へマップする。
【０１２０】
ニュージェントインスタンスがアクティブとなると、マネージャサービスは、使用可能な履歴データを収集するために履歴モードへスイッチする。履歴モードは、後方を見る態様でデータを収集するためにニュージェントインスタンス定義において特定されているクエリ条件を使用する。履歴データの収集の続いて、履歴データが使用可能である場合に直ぐの予測能力を可能とするためにニュージェントモデルを訓練し且つ配備する。
【０１２１】
コンサルトメソッド（Ｃｏｎｓｕｌｔ  Ｍｅｔｈｏｄ）
ニュージェントインスタンスに対してアクティブなモデルが存在する場合には、ニュージェントインスタンスに対して特定したサンプルインターバルにおけるマネージャサービスは、そのインスタンスに対して定義された特徴セット仕様を使用することによりそのニュージェントに対するパターンを構築する。コンサルトメソッド（図３３）は１個又はそれ以上の動的ＳＱＬクエリを発生するために該ニュージェントインスタンスに対するＦｅａｔｕｒｅＳｐｅｃ定義を使用する。ＳＱＬ結果の予備処理が特定されている場合には、このような予備処理が実施される。該モデルに対する出力特徴を発生するに過ぎないクエリ及びサブクエリはコンサルトに対して実施されることはない。
【０１２２】
動的ＳＱＬクエリを使用する代替として、格納されているクエリ手順を使用することが可能である。動的であるクエリの部分は格納されている手順に対するパラメータである。
【０１２３】
コンサルトモジュールがＦｅａｔｕｒｅＳｐｅｃ及びＰｒｅｐｒｏｃｅｓｓｉｎｇＳｐｅｃトークンを解釈してＳＬＡ＿ｅｘｐｉｒａｔｉｏｎ＿ｔｉｍｅを予測された障害日付へ変換し、次いでその日付をｅｘｐｉｒａｔｉｏｎ＿ｄａｙ＿ｏｆ＿ｗｅｅｋへ及びｅｘｐｉｒａｔｉｏｎ＿ｔｉｍｅ＿ｏｆ＿ｄａｙ特徴へ変換するためにＡＨＤファンクションコールを喚起すること等のタスクを実施する。予備処理のための仕様はそのニュージェントインスタンスに対するオブジェクト定義内に包含されている。
【０１２４】
そのコンサルト結果はそのニュージェントインスタンスに対するイベントトリガに対して比較される。任意のトリガされたイベントに対して、そのニュージェントインスタンスに対するイベント定義内に特定されている適宜のアクションがとられる。多くのインスタンスにおいてとられるアクションは、ＡＨＤイベントをレイズ（ｒａｉｓｅ）即ち発生させることであり、そのことは通常のＡＨＤチャンネルを介してアラート及び警告を発生する。ニュージェントは、条件があう場合には、ＲａｉｓｅＥｖｅｎｔユーティリティをコールし、且つＡＨＤがニュージェント予測について何時且つどのようにユーザに対して警報を発するかを決定する。
【０１２５】
構築される動的ＳＱＬクエリの性質のために、コンサルトモジュールは、例えば、ウインドウズレジストリエントリによりイネーブルされるデバッグ又はエキスパートモードを有している。該モードは、発生され且つデータベースサーバへ提出されるクエリの幾つか又は全てのロギングを可能とする。
【０１２６】
ＳａｖｅＰａｔｔｅｒｎメソッド
高価であり又多分不可能な再構成プロセスをオフラインで行う必要性を回避するために、コンサルトメソッド（図３４）を介してパターンをオンラインで格納する。例えば、ＳＬＡ違反と密接に結び付いた特徴値が、そのイシュ即ち問題が違反となった後のある時間において変化すると、データベーストランズアクションログをトラバースすることなしにその値を復元することは困難である。更に、ロールアップ型の特徴の場合には、履歴パターンを再生することは困難な場合がある。
【０１２７】
ＳａｖｅＰａｔｔｅｒｎモジュールは、そのニュージェントインスタンスに対するオブジェクト定義におけるＣｌｏｓｕｒｅＣｏｎｄｉｔｉｏｎｓが評価され且つ出力特徴も収集されることを除いて、コンサルト活動に対して同様の動作を実施する。最終的な結果は結合されて１つのパターンを形成し、それは局所的な名前空間フレームワーク内に格納される。これらのパターンはＤｅｃｉｓｉｏｎＴｒｅｅ分析及び／又は再訓練のために後に使用される。そのパターンは、スーパーパターンである蓋然性があり、その場合には、現在のモデルは使用可能な全ての特徴を使用するものではない。その場合には、該モデルにおいて異なるセット即ち組の特徴を使用することが望ましいこととなる場合に付加的な特徴が格納される。
【０１２８】
パターンを構築するために、動的ＳＱＬクエリ（又は格納されている手順）における置換可能なトークンは、例えば、そのパターンの一部として「最後の時間に開いたコール（ｃａｌｌｓ  ｏｐｅｎｅｄ  ｉｎ  ｔｈｅ  ｌａｓｔ  ｈｏｕｒ）」のようなものに対してのＣａｌｌＬｅｖｅｌ型ニュージェントの時間毎のサンプルをＳＬＡＶｉｏｌａｔｉｏｎ型ニュージェントが使用することを可能とする局所的データ格納部における値への潜在的な参照を包含している。高価なロールアップクエリはＳＬＡＶｉｏｌａｔｉｏｎニュージェントサンプルほど頻繁に繰返されることは必要ではなく（例えば、１０分）、その代わりに、コンパニオンのニュージェントからの時間毎の平均を使用することが可能である。
【０１２９】
該モジュールは、既に存在しない場合には、該局所的名前空間フレームワーク内にテーブルを作成する。
【０１３０】
パターン構築モジュールに対する１日の終わり関数は、システムコンフィギュレーションにおいて特定されているエージング限界を超えてパターンデータをパージ即ち駆逐することである。ニュージェントインスタンスに対するオブジェクト定義における日の時間プロパティは、通常のバックアップ手順との同期を可能とする。
【０１３１】
構築中の動的ＳＱＬクエリの性質のために、該モジュールは、例えばウインドウズレジストリエントリのようなものによりイネーブルされるデバッグ又はエキスパートモードを有している。該モードは、データベースサーバに対して発生され且つ提出中のクエリの幾つか又は全てのロギングを可能とする。
【０１３２】
評価メソッド
評価メソッド（図３５）は、ニュージェントインスタンス定義において特定されるインターバル（例えば、毎日）においてコールされる。そのニュージェントインスタンスに対して１つのモデルがアクティブであり且つデータが使用可能である場合には、要約性能統計が発生され且つそのインスタンスに対して格納される。該データはＵｐｄａｔｅＭｏｄｅｌメソッドにより使用するため、又はＡＨＤヒストリアンでのビューイング及び報告のために使用可能である。性能評価は性能指数としてＲ2値に依存するものではない。その代わりに、性能指数は該ニュージェントに対するイベント条件に結合されており、即ち、コールされた場合に１つのイベントがレイズ即ち発生されるか否かである。
【０１３３】
ＤｅｃｉｓｉｏｎＴｒｅｅメソッド
ＤｅｃｉｓｉｏｎＴｒｅｅモジュール（図３６）は、使用可能なデータに関して判別分析を実施するためにそのニュージェントインスタンスに対してＤｅｃｉｓｉｏｎＴｒｅｅパラメータを使用する。ＡＨＤ特徴セットにおける再評価のための主要な候補はＡＨＤカテゴリコードである。該コードはニュージェントモデルの実効性を改善する。然しながら、該コードは自然の数字順を有するものではないので、それらはバイナリ特徴としてニュージェントモデル内に包含される。非有意的特徴を包含させることはニュージェントモデルの性能に悪影響を与える場合がある。更に、そのモデル内に全てを包含させるためには特徴が多すぎる場合がある。従って、現在最も有意性のあるもののみを包含させることが可能である。
【０１３４】
カテゴリコードが有意的予備処理を介して抽出される。デフォルトにより、判別分析は、該カテゴリコードに対してのみイネーブルされる。然しながら、ＤｅｃｉｓｉｏｎＴｒｅｅ分析においてその他の特徴を包含するためにニュージェントオブジェクト定義構造内にプロパティが存在している。
【０１３５】
ＵｐｄａｔｅＭｏｄｅｌメソッド
ＵｐｄａｔｅＭｏｄｅｌインスタンス（例えば、日の時間）に対して特定した条件下において（図３７）、マネージャサービスはＤｅｃｉｓｉｏｎＴｒｅｅ分析及び／又はニュージェント訓練のためのデータの使用可能性をチェックする。使用可能なデータが存在しないか又は不充分である場合には、該モデルは更に何かを行うことはない。
【０１３６】
そのニュージェントインスタンスに対してオブジェクト定義によりコールされると、ＤｅｃｉｓｉｏｎＴｒｅｅ判別分析が使用可能なデータに対して実施される。有意性のある特徴が現在の特徴セット内にあるものから変化すると、現在のニュージェントインスタンスオブジェクト定義がバックアップされる。次に、新たな有意性のある特徴に従って訓練セットが予備処理されるべきであることを表わすためにフラッグがセットされ、且つ以下に説明するように再訓練が開始される。
【０１３７】
ニュージェントインスタンスが特定したインターバルにおいて無条件の再訓練を要求する場合には、該メソッドは、使用可能なデータがある限り、ランダムなバリデーション即ち妥当性検査で新たなモデルの訓練を開始させる。
【０１３８】
該モデルが精度に対して最小のスタンダードを満足する場合には、マネージャはそれを現在のモデルとしてインストールしようとする。該インスタンスに対する現在のモデルが存在しない場合には、マネージャはそのモデルを無条件にインストールする。既存のモデルが存在する場合には、マネージャはその新たなものの効果性を現在アクティブなものと比較する。新たなものがより効果的である場合には、それがアクティブなものとしてマークが付けられる。そうでない場合には、古いものがアクティブのままとなる。
【０１３９】
ヒストリアンモジュール
ユーザ報告用のヒストリアンインターフェース（例えば、コールレベル予測ニュージェントの要約報告）を設けることが可能である。該ヒストリアンモジュールはコールレベルニュージェント予測及び／又は予測効果性のレポートを観察するか又は印刷するためにユーザに対するインターフェースを提供する。例えば、ユーザは、使用可能なニュージェントから、インスタンス及びタイプを選択し、次いで、その選択したタイプに対する使用可能な予測及び性能レポートを見ることが可能である。レポートはグラフィカルなものである場合があるが、幾つかはテーブルフォーマットにある場合がある。ユーザは、スタンダードのウインドウズ型プリントダイヤログを介してそのレポートを印刷することが可能である。
【０１４０】
ユーザは、該ニュージェントの過去の性能を見ることが可能である（例えば、実際対予測）。統計的要約はマネージャサービスの評価モジュールにより格納することが可能であり、従って、再計算することが必要でない場合がある。ユーザは、又、そのレポートを印刷することが可能である。機密性の情報に対するアクセス制限を、ユーザアカウントシステムセキュリティレベルの割当てを介して与えることが可能である。
【０１４１】
ウエブヒストリアンサービスは、オプションとして、ウエブブラウザ（例えば、インターネットエクスプロワラ）を介してレポートのビューイングを与えるために設けることが可能である。
【０１４２】
コンフィギュレーションユーティリティと同様に、このヒストリアンは、その他のＡＨＤインターフェースと同一のルックアンドフィール（ｌｏｏｋ−ａｎｄ−ｆｅｅｌ）を有することが可能である。統計的要約及び予測は、マネージャサービスの評価モジュールにより格納することが可能であり、従って、再計算することは必要でない場合がある。
【０１４３】
該ヒストリアンは、ＣａｌｌＬｅｖｅｌＮｅｕｇｅｎｔｓ及びＳＬＡ違反ニュージェントに対し異なるレポートを表示し且つ印刷する場合がある。
【０１４４】
ＳＬＡ違反ニュージェントに対して、多数のレポートを使用可能とする場合がある。例示的なＳＬＡ違反レポートを図２５−２７に例示してある。例えば、オープンイシュ即ち未解決の問題（例えば、Ｃａｌｌｓ、ＣｈａｎｇｅＯｒｄｅｒｓ等）に対する予測の棒グラフを与えることが可能である。該レポートの種々のビューが使用可能であり、それは該イシュ即ち問題を譲受人、キュー、違反時間、及びＳＬＡタイプによりグループ化する。該棒グラフ上にホットスポットを設けることが可能であり、それは、クリックされると、予測棒内に包含されるイシュ即ち問題のリストボックスをもたらす。そのリストボックス内の１つのイシュ上をクリックすると、ＡＨＤ内に包含されているそのイシュの更なる詳細がもたらされる。ＡＨＤウエブサーバが具備されているＡＨＤインストレーションに対して、レポート上のＡＨＤＶｉｅｗ上をクリックすると、ＡＨＤウエブアプリケーション内の該イシュに関する完全なる詳細がもたらされる。
【０１４５】
ＳＬＡＶｉｏｌａｔｉｏｎニュージェントに対する別のレポートはそのニュージェントインスタンスに対する通常の評価を示すことが可能である。該評価は、訓練から差し控えられた閉じたデータに関してアクティブなニュージェントモデルをテストすることにより実施される。
【０１４６】
更に、ＳＬＡ違反ニュージェントに対する別のレポートは、予測されており時間と共に閉じられるコールとして測定された過去の予測の精度を示すことが可能である。その性能尺度は、イベントカバレッジ（例えば、ＡＨＤにより正しく識別された実際のＳＬＡ違反の百分率）及び過剰カバレッジ（例えば、ＡＨＤが可能性のある違反としてタグ付けした非違反の百分率）を包含する場合がある。
【０１４７】
ＣａｌｌＬｅｖｅｌニュージェントに対しては、種々のレポートも使用可能である。幾つかの例示的なＣａｌｌＬｅｖｅｌレポートを図２８及び２９に例示してある。例えば、１つのレポートは、ＣａｌｌＬｅｖｅｌニュージェントにより行われた個々の予測を示すことが可能である。別のレポートは、複数の予測が１つのグラフ上に重ね合わせられる点を除いて最初のものと類似している。更に、別のレポートは、個々の予測に対して個別的性能と呼ばれる実際対予測レベルを示すことが可能である。別のレポートは、選択したＣａｌｌＬｅｖｅｌニュージェントに対して全ての過去の予測の平均精度を示すことが可能である。
【０１４８】
付加的なユーティリティ
以下の機能は、１個又はそれ以上のダイナミックリンクライブラリ（ＤＬＬ）におけるファンクションコールとして使用可能とすることが可能である。ＧｅｔＳｅｃｕｒｉｔｙＬｅｖｅｌは、ヒストリアン（Ｈｉｓｔｏｒｉａｎ）及びコンフィギュレーション（Ｃｏｎｆｉｇｕｒａｔｉｏｎ）ユーティリティの利用を制限するために使用することが可能なログオンしたユーザのＡＨＤセキュリティレベルを得るためのユーティリティである。ＲａｉｓｅＡＨＤＥｖｅｎｔは、例えば、ＳＬＡ違反が予測される場合等条件が保証する場合に通常ＡＨＤイベント取扱いチャンネルへアラート即ち警報をパスするユーティリティである。該ファンクションは、レイズすべきイベントに資格を与えるためのパラメータ（必要な場合）を受付ることが可能である。該ニュージェントが、ＳＬＡ違反が予測されたことを判別する場合に、イベントがレイズされる。該ニュージェントが開始すると、インターフェースがＡＨＤで初期化され、従ってメッセージフローがイネーブルされる。
【０１４９】
該ニュージェントが、ＳＬＡ違反の蓋然性があることを予測する場合には、ＰｒｅｄｉｃｔＳＬＡメソッドが喚起されて特定したリクエスト又はチェンジオーダをアップデートする。ＰｒｅｄｉｃｔＳＬＡは以下のものを包含する多数のアクションを行い、即ち（ａ）特定したリクエスト又はチェンジオーダをチェックし；（ｂ）リクエスト又はチェンジオーダレコードにおけるｐｒｅｄｉｃｔ＿ｓｌａ＿ｖｉｏｌａｔｅｄ値をインクリメントし；（ｃ）アクティビティログに該ニュージェントメッセージストリングの特定した内容を付加する。
【０１５０】
並列／分散型処理
可能である場合及び適切である場合には、並列処理を可能とするためにマルチスレッディングを使用することが可能である。更に、性能を改善するため又はスケーリングを容易とするために、ＡＨＤは複数のコンソール間においてニュージェントを分布させることが可能である。例えば、個々のモジュールは、システム性能及びスケーラビリティを改善するために、２個又はそれ以上のプロセッサの間で分散させることが可能である。例えば、２４ｘ７オペレーションにおいて、再訓練をモデル化するために専用とすることが可能な実際のオフ時間期間が存在しない場合がある。サーバ名及び／又はＩＰアドレスのリストをプロセス間通信を容易とするために維持することが可能である。
【０１５１】
代替的に、顧客サイトにおけるその他のサブシステムに与える影響を最小とするために、ＡＨＤサービスは、専用の管理コンソール上で完全に稼動することが可能である。
【０１５２】
上の特定の実施例は例示的なものであり、本開示の精神から又は特許請求の範囲から逸脱することなしにこれらの実施例に関して多くの変形例を導入することが可能である。異なる例示的実施例の要素及び／又は特徴は、本開示の範囲及び特許請求の範囲内において互いに結合することが可能であり及び／又は互いに置換させることが可能である。
【０１５３】
付加的な変形例は、以下の米国仮特許出願を読むことにより当業者にとって自明なものであり、尚それらを引用により本明細書に取込む。
【０１５４】
（ａ）出願番号第６０／３７４，０６４号、２００２年４月１９日出願、発明の名称「混合型数字及び／又は非数字データの処理（ＰＲＯＣＥＳＳＩＮＧ  ＭＩＸＥＤ  ＮＵＭＥＲＩＣ  ＡＮＤ／ＯＲ  ＮＯＮ−ＮＵＭＥＲＩＣ  ＤＡＴＡ）」、
（ｂ）出願番号第６０／３７４，０２０号、２００２年４月１９日出願、発明の名称「自動的ニューラルネットモデル発生及びメインテナンス（ＡＵＴＯＭＡＴＩＣ  ＮＥＵＲＡＬ−ＮＥＴ  ＭＯＤＥＬ  ＧＥＮＥＲＡＴＩＯＮ  ＡＮＤ  ＭＡＩＮＴＥＮＡＮＣＥ）」、
（ｃ）出願番号第６０／３７４，０２４号、２００２年４月１９日出願、発明の名称「階層的視覚化を介しての多次元データのビューイング（ＶＩＥＷＩＮＧ  ＭＵＬＴＩ−ＤＩＭＥＮＳＩＯＮＡＬ  ＤＡＴＡ  ＴＨＲＯＵＧＨ  ＨＩＥＲＡＲＣＨＩＣＡＬ  ＶＩＳＵＡＬＩＺＡＴＩＯＮ）」、
（ｄ）出願番号第６０／３７４，０４１号、２００２年４月１９日出願、発明の名称「システム内の進化的変化を発見するための方法及び装置（ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＤＩＳＣＯＶＥＲＩＮＧ  ＥＶＯＬＵＴＩＯＮＡＲＹ  ＣＨＡＮＧＥＳ  ＷＩＴＨＩＮ  Ａ  ＳＹＳＴＥＭ）」、
（ｅ）出願番号第６０／３７３，９７７号、２００２年４月１９日出願、発明の名称「ローカルネットを介しての自動的モデルメインテナンス（ＡＵＴＯＭＡＴＩＣ  ＭＯＤＥＬ  ＭＡＩＮＴＥＮＡＮＣＥ  ＴＨＲＯＵＧＨ  ＬＯＣＡＬ  ＮＥＴＳ）」、
（ｆ）出願番号第６０／３７３，７８０号、２００２年４月１９日出願、発明の名称「データマイニングのためのニューラルネットワークの使用（ＵＳＩＮＧ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫＳ  ＦＯＲ  ＤＡＴＡ  ＭＩＮＩＮＧ）」。
【図面の簡単な説明】
【０１５５】
【図１】システム内の進化的変化を検知するために適用することが可能な本開示の一実施例に基づく適応的システムモデリング方法のフローチャート。
【図２】本開示の別の実施例に基づく適応的システムモデリング方法のフローチャート。
【図３】本開示の別の実施例に基づく適応的システムモデリング方法のフローチャート。
【図４】株価予測システムを表わす概略図。
【図５】図４の株価予測システムに対応するブラックボックスモデルを表わす概略図。
【図６】本開示の別の実施例に基づく適応的システムモデリング方法のフローチャート。
【図７】コーティング配合モデルに対する例示的なデシジョンツリーを表わす概略図。
【図８】図７のコーティング配合例と関連して全ての使用可能な特徴で訓練したモデルに対する訓練及び妥当性検査結果を報告するユーザインターフェース。
【図９】図７及び８のコーティング配合例と関連して、選択したシステム特徴とエントロピ尺度との間の関係を表わすグラフ図。
【図１０】図７及び９のコーティング配合例に関連して最も有意性のある特徴で訓練したモデルに対する訓練及び妥当性検査結果を報告するユーザインターフェース。
【図１１】例示的なワイン購入モデルに関連して全ての使用可能な特徴で訓練したモデルに対する訓練及び妥当性検査結果を報告するユーザインターフェース。
【図１２】図１１のワイン購入例に対する例示的なデシジョンツリーの上側のレベルを表わす概略図。
【図１３】図１１及び１２のワイン購入例に関連して特徴の相対的な有意性のグラフィック表示。
【図１４】ヘルプデスクシステムをモデリングするための例示的なデシジョンツリーの上側のレベルを表わす概略図。
【図１５】図７−１０のコーティング配合例と関連して選択した特徴に対するビニングのグラフィック表示。
【図１６】図１１−１３のワイン購入例と関連して選択した特徴に対するビニングのグラフィック表示。
【図１７】図１１−１３のワイン購入例と関連して購入傾向と選択した特徴のグラフィック表示。
【図１８】例示的なヘルプデスクシステムを表わす概略図。
【図１９】図１４のヘルプデスクシステム例と関連して有意性によりランク付けされた問題コードのテーブル表示。
【図２０】図１４及び１９のヘルプデスクモデルをコンフィギャ即ち形態特定するための例示的なユーザインターフェース。
【図２１】図１４及び１９のヘルプデスクモデルをコンフィギャ即ち形態特定するための例示的なユーザインターフェース。
【図２２】図１４及び１９のヘルプデスクモデルをコンフィギャ即ち形態特定するための例示的なユーザインターフェース。
【図２３】図１４及び１９のヘルプデスクモデルをコンフィギャ即ち形態特定するための例示的なユーザインターフェース。
【図２４】図１４及び１９のモデリングシステムと関連してデータベース接続情報をエンタするためのユーザインターフェースを示した概略図。
【図２５】図１４及び１９のヘルプデスクモデリング例と関連してレポートを示す例示的なユーザインターフェースを示した概略図。
【図２６】図１４及び１９のヘルプデスクモデリング例と関連してレポートを示す例示的なユーザインターフェースを示した概略図。
【図２７】図１４及び１９のヘルプデスクモデリング例と関連してレポートを示す例示的なユーザインターフェースを示した概略図。
【図２８】図１４及び１９のヘルプデスクモデリング例と関連してレポートを示す例示的なユーザインターフェースを示した概略図。
【図２９】図１４及び１９のヘルプデスクモデリング例と関連してレポートを示す例示的なユーザインターフェースを示した概略図。
【図３０】ヘルプデスクモデリングシステムのハイレベルブロック図。
【図３１】図３０のヘルプデスクモデリングシステムのインストレーションウイザードに対するフローチャート。
【図３２】図３０のヘルプデスクモデリングシステムのマネージャサービスに対するフローチャート。
【図３３】図３０のヘルプデスクモデリングシステムのコンサルトモジュールに対するフローチャート。
【図３４】図３０のヘルプデスクモデリングシステムのＳａｖｅＰａｔｔｅｒｎモジュールに対するフローチャート。
【図３５】図３０のヘルプデスクモデリングシステムの評価モジュールに対するフローチャート。
【図３６】図３０のヘルプデスクモデリングシステムのＤｅｃｉｓｉｏｎＴｒｅｅモジュールに対するフローチャート。
【図３７】図３０のヘルプデスクモデリングシステムのＵｐｄａｔｅＭｏｄｅｌモジュールに対するフローチャート。
【図３８】図３０のヘルプデスクモデリングシステムに対するデータフロー概略図。
【図１】
2005523526.tif 000002
【図２】
2005523526.tif 000003
【図３】
2005523526.tif 000004
【図５】
2005523526.tif 000005
【図６】
2005523526.tif 000006
【図７】
2005523526.tif 000007
【図３０】
2005523526.tif 000008
【図３１】
2005523526.tif 000009
【図３２】
2005523526.tif 000010
【図３３】
2005523526.tif 000011
【図３４】
2005523526.tif 000012
【図３５】
2005523526.tif 000013
【図３６】
2005523526.tif 000014
【図３７】
2005523526.tif 000015
【図３８】
2005523526.tif 000016
【図４】
2005523526.tif 000017
【図８】
2005523526.tif 000018
【図９】
2005523526.tif 000019
【図１０】
2005523526.tif 000020
【図１１】
2005523526.tif 000021
【図１２】
2005523526.tif 000022
【図１３】
2005523526.tif 000023
【図１４】
2005523526.tif 000024
【図１５】
2005523526.tif 000025
【図１６】
2005523526.tif 000026
【図１７】
2005523526.tif 000027
【図１８】
2005523526.tif 000028
【図１９】
2005523526.tif 000029
【図２０】
2005523526.tif 000030
【図２１】
2005523526.tif 000031
【図２２】
2005523526.tif 000032
【図２３】
2005523526.tif 000033
【図２４】
2005523526.tif 000034
【図２５】
2005523526.tif 000035
【図２６】
2005523526.tif 000036
【図２７】
2005523526.tif 000037
【図２８】
2005523526.tif 000038
【図２９】
2005523526.tif 000039