(57)【要約】特定のパターンの特徴を判定する方法とシステムが提供される。特に、データ記録が受信され、これらのデータ記録の内の少なくとも一部と関連する所定のパターンが得られる。本システムと方法を用いると、特定の情報が、この受信したデータ記録の少なくともサブ集合から抽出されるが、この特定の情報は、このデータ記録の内の少なくとも一部の中のこの特定のパターンを示している。次に、この特定のパターンが、期待しなかったパターンであるかどうかがこの得られた所定のパターンに基づいて判定される。加えて、このデータ記録中に与えられているデータ及び／又はパラメータを分類して減少させることが可能である。最初に、データ記録が受信される。次に、少なくとも一つの特定のパターンを有するデータ記録が、多変量適応回帰スプライン技法を用いて分類される。その後で、この分類されたデータ記録のこのデータ及び／又はパラメータが、シュタインの推定量ルール技法を用いて収縮される。
2004511834.tif 000002
【特許請求の範囲】
【請求項１】
ａ）データ記録を受信するステップと；
ｂ）前記データ記録の少なくとも一部と関連する所定のパターンを獲得するステップと；
ｃ）前記受信されたデータ記録の少なくともサブ集合から特定の情報を抽出するステップであり、前記特定の情報が、前記データ記録の少なくとも一部に対する特定のパターンを示すステップと；
ｄ）前記特定のパターンが期待しなかったパターンであるかどうか、前記獲得された所定のパターンに基づいて判定するステップと；
を含む、特定のパターンの特徴を判定する方法。
【請求項２】
前記データ記録の内の少なくとも一つの記録が、一時的データを含む、請求項１に記載の方法。
【請求項３】
前記データ記録の内の少なくとも一つの記録が、非定常的データを含む、請求項１に記載の方法。
【請求項４】
ステップ（ｂ）が：
ｉ．しきい値を割り当てるサブステップと；
ｉｉ．前記データ記録を前記しきい値の関数としてパターンの集合中に相関させるサブステップと
を含む、請求項１に記載の方法。
【請求項５】
ステップ（ｄ）が、前記特定のパターンが、前記パターン集合の内の少なくとも一つのパターンに対応する、請求項４に記載の方法。
【請求項６】
前記特定のパターンが前記パターン集合の内のどのパターンにも対応しない場合に、前記期待しなかったパターンが成立する、請求項５に記載の方法。
【請求項７】
前記期待しなかったパターンが、前記所定のパターンにおける興味尺度を示す、請求項１に記載の方法。
【請求項８】
前記データ記録が入力シーケンスを含み、また、ステップ（ｄ）が、前記入力シーケンス中の少なくとも一つの事象の興味尺度を判定するために前記入力シーケンスを走査するサブステップを含む、請求項１に記載の方法。
【請求項９】
ステップ（ｄ）が：
ｉ．前記入力シーケンスの全ての事象を内部に挿入することによってパターンリストを初期化するサブステップと；
ｉｉ．前記パターンリスト中の全てのパターンから、最大の興味尺度を有する最初のパターンを選択するサブステップと；
を含む、請求項８に記載の方法。
【請求項１０】
前記データ記録が最大許容長値を含み、ステップ（ｄ）が：
ｉｉｉ．前記最初のパターンを拡大して第２のパターンとするサブステップと；
ｉｖ．前記第２のパターンの長さが前記最大許容値より大きい場合、前記第２のパターンを前記パターンリストに追加するサブステップと；
ｖ．前記第２のパターンの長さが前記最大許容値以下であれば、前記最初のパターンを前記パターンリストから削除するサブステップと；
を含む、請求項９に記載の方法。
【請求項１１】
ステップ（ｄ）が、前記パターンリストが空になるまでサブステップ（ｉｉ）から（ｖ）を繰り返すサブステップを含む、請求項１０に記載の方法。
【請求項１２】
ｅ）前記興味尺度を含む前記特定のパターンを出力するステップを；
さらに含むことを特徴とする、請求項１１に記載の方法。
【請求項１３】
ステップ（ｄ）が：
ｉ．前記入力シーケンスの全ての事象を内部に挿入することによってパターンリストを初期化するサブステップと；
ｉｉ．少なくとも一つの接尾辞リストを初期化するサブステップと；
ｉｉｉ．前記入力シーケンスの特定のパターンのロケーションを計算するステップと；
ｉｖ．以前に発見されたパターンを前記計算されたロケーションに基づいて更新するサブステップと；
ｖ．前記特定のパターンを用いて前記少なくとも一つの接尾辞リストを更新するサブステップと；
を含む、請求項８に記載の方法。
【請求項１４】
前記データ記録が最大許容長値を含み、ステップ（ｄ）が：
ｖｉ．前記第２のパターンの長さが前記最大許容値以上であれば、サブステップ（ｉｉｉ）から（ｖ）を繰り返すサブステップ：
を含む、請求項１３に記載の方法。
【請求項１５】
ステップ（ｄ）が：
ｉ．前記データ記録を追加の特徴を含むように修正することによってさらなる記録を発生させるサブステップ；
を含む、請求項１５に記載の方法。
【請求項１６】
（ｆ）前記さらなる記録を用いて関数モデルを生成させるステップ；
をさらに含む、請求項１５に記載の方法。
【請求項１７】
サブステップ（ｉ）がさらなる記録から成る複数の集合を生成させるサブステップを含み、ステップ（ｆ）が前記さらなる記録から成る各集合に対して実行される、請求項１６に記載の方法。
【請求項１８】
ステップ（ｆ）が、前記さらなる記録から成る前記それぞれの集合の各関数モデルに基づいて一つのモデルを生成させるサブステップを含む、請求項１７に記載の方法。
【請求項１９】
（ｇ）ステップ（ｄ）の後で、自身と関連する前記期待しなかったパターンを有する前記データ記録を分類するステップと；
（ｈ）前記分類されたデータ記録の関数として予測モデルを生成させるステップと；
をさらに含む、請求項１に記載の方法。
【請求項２０】
ステップ（ｇ）が、多変量適応回帰スプライン技法を用いて実行される、請求項１９に記載の方法。
【請求項２１】
（ｉ）前記分類されたデータ記録のデータとパラメータの内に少なくとも一方を収縮させるステップ；
をさらに含む、請求項１９に記載の方法。
【請求項２２】
ステップ（ｉ）が、前記データと前記パラメータの内の前記少なくとも一方の平均を判定するサブステップを含む、請求項２１に記載の方法。
【請求項２３】
ステップ（ｉ）が、シュタインの推定量技法を用いて実行される、請求項２１に記載の方法。
【請求項２４】
前記所定のパターンの内の少なくとも一つが、一時的モーダル演算子を利用する、請求項１に記載の方法。
【請求項２５】
前記所定のパターンの内の少なくとも一つが、論理連結記号を利用する、請求項１に記載の方法。
【請求項２６】
前記所定のパターンの内の少なくとも一つが、コンピュータプログラムによって生成される、請求項１に記載の方法。
【請求項２７】
ａ）データ記録を受信するステップと；
ｂ）前記データ記録の少なくとも一部と関連する所定のパターンを獲得するステップと；
ｃ）前記受信されたデータ記録の少なくともサブ集合から特定の情報を抽出するステップであり、前記特定の情報が、前記データ記録の少なくとも一部に対する特定のパターンを示すステップと；
ｄ）前記特定のパターンが期待しなかったパターンであるかどうか、前記獲得された所定のパターンに基づいて判定するステップと；
を実行するようにプログラムされた処理装置を備える、特定のパターンの特徴を判定するシステム。
【請求項２８】
前記データ記録の内の少なくとも一つの記録が、一時的データを含む、請求項２７に記載のシステム。
【請求項２９】
前記データ記録の内の少なくとも一つの記録が、非定常的データを含む、請求項２７に記載のシステム。
【請求項３０】
ステップ（ｂ）において、前記処理装置が：
ｉ．しきい値を割り当て；
ｉｉ．前記データ記録を前記しきい値の関数としてパターンの集合中に相関させる；
請求項２７に記載のシステム。
【請求項３１】
ステップ（ｄ）において、前記処理装置が、前記特定のパターンが前記パターン集合の内の少なくとも一つのパターンに対応するがどうか判定する、請求項３０に記載のシステム。
【請求項３２】
前記特定のパターンが前記パターン集合の内のどのパターンにも対応しない場合に、前記期待しなかったパターンが成立する、請求項３１に記載のシステム。
【請求項３３】
前記期待しなかったパターンが、前記所定のパターンにおける興味尺度を示す、請求項２７に記載のシステム。
【請求項３４】
前記データ記録が入力シーケンスを含み、また、ステップ（ｄ）が、前記入力シーケンス中の少なくとも一つの事象の興味尺度を判定するために前記入力シーケンスを走査するサブステップを含む、請求項２７に記載のシステム。
【請求項３５】
ステップ（ｄ）において、前記処理装置が：
ｉ．前記入力シーケンスの全ての事象を内部に挿入することによってパターンリストを初期化し；
ｉｉ．前記パターンリスト中の全てのパターンから、最大の興味尺度を有する最初のパターンを選択する；
請求項３４に記載のシステム。
【請求項３６】
前記データ記録が最大許容長値を含み、ステップ（ｄ）において、前記処理装置が：
ｉｉｉ．前記最初のパターンを拡大して第２のパターンとし；
ｉｖ．前記第２のパターンの長さが前記最大許容値より大きい場合、前記第２のパターンを前記パターンリストに追加し；
ｖ．前記第２のパターンの長さが前記最大許容値以下であれば、前記最初のパターンを前記パターンリストから削除する；
請求項３５に記載のシステム。
【請求項３７】
ステップ（ｄ）において、前記処理装置が、前記パターンリストが空になるまでサブステップ（ｉｉ）から（ｖ）を繰り返す、請求項３６に記載のシステム。
【請求項３８】
前記処理装置が：
ｅ）前記興味尺度を含む前記特定のパターンを出力する；
ようにさらにプログラムされている、請求項３７に記載のシステム。
【請求項３９】
ステップ（ｄ）において、前記処理装置が：
ｉ．前記入力シーケンスの全ての事象を内部に挿入することによってパターンリストを初期化し；
ｉｉ．少なくとも一つの接尾辞リストを初期化し；
ｉｉｉ．前記入力シーケンスの特定のパターンのロケーションを計算し；
ｉｖ．以前に発見されたパターンを前記計算されたロケーションに基づいて更新し；
ｖ．前記特定のパターンを用いて前記少なくとも一つの接尾辞リストを更新する；
請求項３４に記載のシステム。
【請求項４０】
前記データ記録が最大許容長値を含み、ステップ（ｄ）において、前記処理装置が：
ｖｉ．前記第２のパターンの長さが前記最大許容値以上であれば、サブステップ（ｉｉｉ）から（ｖ）を繰り返す：
請求項３９に記載のシステム。
【請求項４１】
ステップ（ｄ）において、前記処理装置が：
ｉ．前記データ記録を追加の特徴を含むように修正することによってさらなる記録を生成させる；
請求項２７に記載のシステム。
【請求項４２】
前記処理装置が、
（ｆ）前記さらなる記録を用いて関数モデルを生成させるようにプログラムさせた：
請求項４１に記載のシステム。
【請求項４３】
サブステップ（ｉ）において、前記処理装置がさらなる記録から成る複数の集合を生成させ、前記処理装置が、前記さらなる記録から成る各集合に対してステップ（ｆ）を実行する、請求項４２に記載のシステム。
【請求項４４】
ステップ（ｆ）において、前記処理装置が、前記さらなる記録から成る前記それぞれの集合の各関数モデルに基づいて一つのモデルを生成させる、請求項４３に記載のシステム。
【請求項４５】
前記処理装置が：
（ｇ）ステップ（ｄ）の後で、自身と関連する前記期待しなかったパターンを有する前記データ記録を分類し；
（ｈ）前記分類されたデータ記録の関数として予測モデルを生成させる；
ようにさらにプログラムされる、請求項２７に記載のシステム。
【請求項４６】
前記処理装置が、多変量適応回帰スプライン技法を用いてステップ（ｇ）を実行する、請求項４５に記載のシステム。
【請求項４７】
前記処理装置が：
（ｉ）前記分類されたデータ記録のデータとパラメータの内に少なくとも一方を収縮させる；
ようにさらにプログラムされる、請求項４５に記載のシステム。
【請求項４８】
ステップ（ｉ）において、前記処理装置が、前記データと前記パラメータの内の前記少なくとも一方の平均を判定する、請求項４７に記載のシステム。
【請求項４９】
前記処理装置が、シュタインの推定量技法を用いてステップ（ｉ）を実行する、請求項４７に記載のシステム。
【請求項５０】
前記所定のパターンの内の少なくとも一つが、一時的モーダル演算子を利用する、請求項２７に記載のシステム。
【請求項５１】
前記所定のパターンの内の少なくとも一つが、論理連結記号を利用する、請求項２７に記載のシステム。
【請求項５２】
前記所定のパターンの内の少なくとも一つが、コンピュータプログラムによって生成される、請求項２７に記載のシステム。
【請求項５３】
ａ）データ記録を受信するステップと；
ｂ）少なくとも一つの特定のパターンを有する前記データ記録を分類するステップであり、前記データ記録が多変量適応回帰スプライン技法を用いて分類されるステップと；
ｃ）シュタインの推定量ルール技法を用いて、前記分類されたデータ記録のデータ及びパラメータの内の少なくとも一方を収縮させるステップと；
を含む方法。
【請求項５４】
ｄ）前記データ記録の少なくとも一部と関連する所定のパターンを獲得するステップと；
ｅ）前記受信されたデータ記録の少なくともサブ集合から特定の情報を抽出するステップであり、前記特定の情報が、前記データ記録の少なくとも一部における前記少なくとも一つの特定のパターンを示すステップと；
ｆ）前記少なくとも一つの特定のパターンが期待しなかったパターンであるかどうか、前記獲得された所定のパターンに基づいて判定するステップと；
をさらに含む、請求項５３に記載の方法。
【請求項５５】
ａ）データ記録を受信し；
ｂ）少なくとも一つの特定のパターンを有する前記データ記録を分類し、前記データ記録が多変量適応回帰スプライン技法を用いて分類され；
ｃ）シュタインの推定量ルール技法を用いて、前記分類されたデータ記録のデータ及びパラメータの内の少なくとも一方を収縮させる；
ように、プログラムされた処理装置を備える、データ記録中に与えられているデータとパラメータの内の少なくとも一方を分類して減少させるシステム。
【請求項５６】
ｄ）前記データ記録の少なくとも一部と関連する所定のパターンを獲得し；
ｅ）前記受信されたデータ記録の少なくともサブ集合から特定の情報を抽出し、前記特定の情報が、前記データ記録の少なくとも一部における前記少なくとも一つの特定のパターンを示し、；
ｆ）前記少なくとも一つの特定のパターンが期待しなかったパターンであるかどうか、前記獲得された所定のパターンに基づいて判定する；
ように前記処理装置がさらにプログラムされた、請求項５５に記載のシステム。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、データを分類する方法と装置に関し、より詳しくは、一時的非定常性の存在下におけるデータ分類の方法とシステムに関する。
【０００２】
（背景技術）
従属応答変数の値を独立予測変数から成る集合の値に基づいて予測する方式が、何年にもわたって、統計的分析とデータマイニングの当業者によって開発されてきた。また、データをモデリングする従来の方法が数多く開発されてきた。これらの周知の技法では、モデリングされているデータに関する制限的仮定の集合が必要である。これらの仮定には、例えば、雑音の欠如、統計的独立性、時間の不変性などが挙げられる。したがって、モデリングされている実データが、従来の技法によって正確にモデリングするために必要な仮定とは逆行する特定の種の要因に従属している場合、上記の従来のデータモデリング法によっては、正確な結果は得られない。
【０００３】
これは、一時的非定常性を持つデータの場合には特に当てはまる。実際、このようなデータを考慮するロバストな方式は、統計分析の当業者には広く用いられることはなかったし、受け入れられもしなかった。先行技術による方式の場合における難しさをよりよく理解するために、一時的データ及び非定常的データを以下に詳述する。
【０００４】
一時的データとは、時間の経過によって変化するデータ記録同士間に一時的関係が存在するようなデータのことである。この一時的関係は、従属応答変数の予測と関連している。例えば、一時的データを用いれば、特定の金融指標の集合の現行の値と過去の値に基づいている公平価格の将来値を予測することが可能である。事実、ある人が市場におけるトレンドの重要性を信じているとすると、単にこれらの金融指標の現行のレベルを考慮するだけでは十分ではなく、これらのレベルの過去のレベルに対する関係を考慮しなければならない。
【０００５】
別の例では、スーパーマーケットという応用例として、特定の種の品目を購買者の購買パターンに基づいてグルーピングする例が挙げられる。このようなシナリオにおいては、このようなスーパーマーケットという応用例において現在用いられている一時的データとは、特定のチェックアウト、すなわち単一の事象、において各顧客に対して提供されるデータのことである。しかしながら、このようなデータを一人の顧客に対してチェックアウトカウンタで用いても、それは、この顧客の過去のデータ（すなわち、このカウンタにおけるこの顧客の以前の購買）を考慮しているわけではない。侵入発見システムの例では、経時変化データを用いることは非常に重要である。例えば、パスワードが正しく入力されなかったために現行のログインが失敗した場合、このシステムは、なんらフラグを立てて、不認可のアクセスが試みられようとしていることを示そうとはしない。しかしながら、このシステムが各ユーザの以前のログイン試行を連続的に監視するようにすれば、ログインの失敗回数がこのユーザに応じた所定のログイン失敗回数に達したかどうか、すなわちある特定のシーケンスを成す事象が発生したかどうか、判定することが可能である。この事象は、このシステムに対する不認可のアクセスが試行されていることを意味する。
【０００６】
非定常的データとは、サンプル内訓練データからサンプル外試験データに移動する際に、予測変数と応答変数間の関数関係が、時間の経過に従って発生するこの関係固有の変化のために又はなんらかの外部的インパクトのために変化するようなデータのことである。例えば、従来のネットワーク侵入発見システムでは、不正ネットワークアクティビティの予測的モデルを、特定のネットワーク上で作成された、例えばＴＣＰ／ＩＰログファイル、に基づいて構成することが可能であるが、これには、例えば、以前の侵入試行に基づいて形成されたパターンなどがある。しかしながら、侵入者は、自身の攻撃シナリオを描くに際してより巧妙となり、その攻撃識別特性も進化する。加えて、従来の発見侵入システムは、考えられるあらゆる現行のオペレーティングシステムに対して使用可能というわけではなく、ましてや、将来のオペレーティングシステムに対してはなおさらである。侵入発見システムが、効果的であるためには、これらの変化を考慮しなければならない。
【０００７】
従来の予測エンジンが直面している主要な困難さの内の一つは、データが「多次元的」であり、このため、「過剰適合」しかねないという点である。以前のデータに基づいて予測するように予測システムを訓練することは可能であるが、新しいデータとシステムを訓練するために以前に使用されたデータとの双方に基づいて予測することは、このシステムにとっては困難である。この従来型システムは、各々のデータカテゴリに対して予測子の値を利用し、これによって、上記のように自身を訓練する。例えば、この予測システムは、特定の野球チームの試合ぶりを予測しようとすると、それぞれのチームの各プレイヤーの打撃平均を用いるだけではなく、他の変数、例えば、それぞれのプレイヤーの打撃力、地元でプレイしている時の統計、地元以外でプレイしている時のチームの統計、負傷の統計、プレイヤーの年齢なども用いる。これら変数はその個々が、自身と関連した予測変数を有している。これらの予測変数を用いると、所与の野球チームの試合ぶりを予測するようにシステムを訓練することが可能である。
【０００８】
しかしながら、上記の従来のシステムと方法は、分析のために利用されている新しい変数（例えば、チームを去るプレイヤーの数）及びこれと対応する新しい予測変数に基づいて予測を実行できるほど十分にフレキシブルではない。加えて、従来のシステムに方法が利用されているデータ値、すなわち本システムが既に訓練された後のデータ値は、このシステムの訓練の際に既に記憶されているそれぞれの予測変数のデータと同一又はこれに類似している可能性が極めて低い。上記の例は、通常の当業者には「過剰適合」として知られているものを示している。この概念を示す例としては、本システムを、このシステムが評価しなければならないデータ全体のわずか０．１％のみを占める訓練用データ（例えば、サンプル内データ）だけを用いて訓練する。この後で、この訓練用データを用いて予測モデルを構築する。しかしながら、本システムが実データ又は試験データ（例えば、サンプル外データ）を与えられた場合、訓練用データと実データすなわち試験データ間にはなんら相関関係がないことになる。これは、本システムが、実データ／試験データのほんの一部（例えば、０．１％）を用いている訓練を受けただけであるため、実データ又は試験データのほとんどに接していないためである。
【０００９】
先行技術によるシステム、方法及び技法に関する上記の欠点を克服する必要がある。特に、一時的であり、また非定常的であるデータを分類する方法とシステムを提供する必要がある。
【００１０】
（発明の開示）
本発明による分類システムと方法は、従来のシステムと方法に優る利点を持つ、一時的非定常的データの存在下における予測のための方式を提供するものである。本システムと方法の第１の例示ステップは、データ記録中に与えられている特徴を発見する一時的ロジックを用いる。次の例示ステップは、選択された特徴を用いてデータ記録を分類することである。本発明による本システムと方法の別の例示ステップは、「収縮技法」を用いて、「過剰適合」という好ましくない影響を抑圧することである。
【００１１】
したがって、本発明による方法とシステムは、特定のパターンの特徴を判定するためのものである。これらの例示のシステムと方法を用いて、データ記録が受信され、これらデータ記録の内の少なくとも一部と関連する所定のパターンが得られる。本システムと方法を用いて、特定の情報が、受信されたデータ記録から成る少なくともサブ集合から抽出されるが、この特定の情報は、データ記録の内の少なくとも一部の特定のパターンを示している。次に、この特定のパターンが、期待しなかったパターンであるかどうかが、得られた所定のパターンに基づいて判定される。データ記録の内の少なくとも一つの記録には、一時的データ及び／又は非定常的データが含まれているかも知れない。
【００１２】
本発明の別の実施形態では、この所定のパターンは、しきい値を割り当てて、データ記録をこのしきい値の関数としてパターンの集合中に相関させる。また、この期待しなかったパターン内の特定のパターンがあるかどうかという判定には、この特定のパターンがパターンの集合の内の少なくとも一つのパターンに対応するかどうかという判定が含まれる。この期待しなかったパターンに関しては、この特定のパターンがパターン集合の内のどのパターンにも対応していない場合に肯定的判定がなされる。
【００１３】
本発明のさらに別の実施形態では、期待しなかったパターンは、所定のパターン中の興味尺度を示す。加えて、データ記録には、入力シーケンスが含まれることが可能であり、この入力シーケンスを走査して、入力シーケンス中の少なくとも一つの事象の興味尺度を判定することが可能である。また、入力シーケンスの全ての事象をパターンの内部に挿入することによってそのパターンを初期化することが可能である。これで、パターンリスト内の全てのパターンから、最大の興味尺度を持つ第１のパターンが選択される。このデータ記録には、最大許容長値が含まれることがある。したがって、第１のパターンを拡大して第２のパターンにすることが可能である。第２のパターンの長さが、最大許容値より大きければ、第２のパターンをパターンリストに追加することが可能である。その後で、第２のパターンの長さが最大許容値以下であれば、第１のパターンをパターンリストから除外することが可能である。これらのステップは、パターンリストが空になるまで繰り返すことが可能である。最終的には、興味尺度を含む特定のパターンを出力することが可能である。
【００１４】
本発明のさらに別の実施形態によれば、パターンリストは、入力シーケンスの全ての事象を挿入することによって初期化され、また、少なくとも一つの接尾辞もまた初期化することが可能である。入力シーケンスの特定のパターンのロケーションを計算することが可能であり、更新済みのパターンが、この計算されたロケーションに基づいて前もって発見され得る。これで、この特定のパターンのパターンリストが更新可能となる。データ記録は、最大許容長値を含むことが可能である。
【００１５】
本発明の別の実施形態では、データ記録を追加の特徴を含むように修正することによってさらなる記録を発生する。また、このさらなる記録を用いて、関数モデルが発生される。また、このさらなる記録から成る集合が複数個生成され、このさらなる記録の各集合に対して予測モデルが生成される。さらに、このさらなる記録のそれぞれの集合に対して一つのモデルを生成することが可能である。
【００１６】
本発明のさらに別に実施形態によれば、期待しなかったパターンを有するデータ記録を分類することが可能である。その後で、この分類されたデータ記録の関数として、予測モデルを生成させる。データ記録の分類は、多変量適応回帰スプライン技法を用いて実行される。これで、分類されたデータ記録の内の少なくとも一つのデータ記録のデータ及び／又はパラメータが収縮されて、このデータ及び／又はパラメータの平均が判定される。この収縮技法は、シュタインの推定値ルール技法であってもよい。
【００１７】
本発明及びその利点をより完全に理解するために、以下の添付図面を参照して次に述べる。
【００１８】
（発明を実施するための最良の形態）
図１に、本発明による分類システム１０の例示の実施形態を示す。この図において、システム１０は、データ記録から成る順序付けられた集合を受信するために、一つ以上のデータベース２０に接続されている。データ記録は各々が、定義された従属変数の値を予測することに関連する（所与の特定のドメイン知識）特徴の集合を含むのが望ましい。加えて、特定のデータ記録もまた、自身と他のデータ記録との間の特定の関係を含むことがある。
【００１９】
これらのデータ記録を受け取ると、本発明による方法の例示の実施形態を図示する図２のステップ１００に示すように、本発明によるシステム１０は、このデータ記録から特定の特徴を選択及び／又は抽出する。これらの特徴は、従属変数の値を予測することに最も関連する一時的特徴であったりする。次に、ステップ１１０で、システム１０は、本発明の方法を用いて、データベース２０から受け取ったデータ記録をデータ記録から抽出された特徴とその分類に基づいて分類して修正する。ステップ１１０で生成されているこの分類されたデータ記録は数が多いので、これらを収縮させると有用である（図２のステップ１２０）。その後で、（分類されて収縮された時に）特定のパターンを含む又はこれの一部であるものとして選択されたデータ記録を用いて、図２のステップ１３０で予測モデルを発生させる。最終的に、予測モデル及び／又は収縮済みデータ記録及びパターンが出力される。例えば、図１に、このような出力をプリンタ３０に対して実行し、これによって、予測モデル又は収縮済みデータのハードコピーを生成し、表示デバイス４０に送出し、記憶デバイス５０に記憶し、及び／又は通信ネットワーク６０を介して別のデバイス（図１には図示せず）に送信する様子を示す。
【００２０】
本発明による一つの例示の実施形態によれば、システム１０は、汎用コンピュータ（例えば、インテル社のプロセッサベースのコンピュータ）、特殊目的コンピュータ、これら各々のコンピュータの複数個及び／又は組み合わせであったりする。記憶デバイス５０は、一つ以上のデータベースであったり、一つ以上のハードディスク（例えば、堆積可能ハードドライブ）であったり、内部ＲＡＭなどであったりする。通信ネットワーク６０は、インターネット、イントラネット、エクストラネット又は別のインターネットや外部ネットワークであったりする。データベース２０からインターネットやイントラネットなどの通信ネットワークを介してデータ記録を受信する方式もまた本発明の範囲に含まれる。本発明の例示実施形態の詳細を以下に記載する。
【００２１】
Ｉ．特徴の選択
データ記録からの特徴の抽出／選択を遂行するために、分類システム１０は、「興味尺度」を有すると定義し得るデータ記録内で、特定のパターンを探索、望ましくは選択する。この用いられる特定の興味尺度は、ドメインに従属するのが望ましいが、一般的には、パターンの発生が予想変数の一つの値とどの程度相関するかの尺度である。興味尺度の判定は、多くの例、例えば、ネットワークの侵入発見などの場合に有用であり得る。ネットワークに対する不正アクティビティを特徴付けるパターンを探索する場合、攻撃の存在下で頻繁に発生するパターンが監視されるだけではなく、通常のネットワークアクティビティ中よりも攻撃中により頻繁に発生するパターンの選択も監視される。
【００２２】
上記の例は、少なくとも一つの「興味特徴」を定義するが、これは、本発明によるシステムと方法で用いられて、この尺度を有するデータ記録のパターンを監視し、対応するパターンをそれから選択することが可能である。例えば、ネットワーク侵入システムの場合、興味尺度は、侵入の過程中の特定のパターンの発生の回数のこのパターンが通常のネットワーク動作の過程中の発生回数に対する比率であったりする。頻度と異なって、この興味尺度は、頻繁ではないが侵入動作と高度に相関しているパターンの識別を可能とし、また、侵入中には頻繁に発生するが、その程度は通常の動作中の頻度と同程度であるようなパターンを無視する方法となるものである。
【００２３】
ネットワーク侵入発見の別の例では、興味特徴に対して用いられ得る従属変数は、０と１の間の値を取ることが可能であり、この値は、関連のデータ記録が侵入の一部となり得る確率を表す。この例示の場合では、パターンＰの興味尺度は、次のように表示される：
Ｉ（Ｐ）＝Ｐｒ（Ｉｎｔｒｕｓｉｏｎ｜Ｐ）
パターンＰの興味尺度は、この場合、パターンＰが発生したとして、特定のデータ記録が、侵入の一部を成す確率である。事前定義された興味しきい値Ｔを用いると、次のパターン集合を追加特徴としてデータ記録中に包含することが可能である：
Ｓ１＝｛Ｐ｜Ｉ（Ｐ）＞Ｔ｝、Ｓ２＝｛Ｐ｜Ｉ（Ｐ）＜１−Ｔ｝、Ｓ３＝｛Ｐ｜−ＰεＳ２｝
例えば、集合Ｓ１は、最も興味深いパターンを表す。侵入発見の場合、集合Ｓ１は、サンプル内データを用いる予測モデルの訓練に基づいて侵入と最も高度に相関しているパターンの集合であると定義される。集合Ｓ２は、最も興味のないパターンを含んだり、又は例示の侵入発見では、集合Ｓ２は、これまた、サンプル内データを用いる予測モデルの訓練に基づいて通報動作と最も高度に相関しているパターンを表す。集合Ｓ３は集合Ｓ２に設けられる否定のパターンを有してもよい。集合Ｓ３の目的は、非定常性の影響の軽減を支援することである。
【００２４】
例えば、侵入発見というシナリオにおいては、本発明によるシステム１０と方法は、サンプル外データ集合が、モデルが依存していたサンプル内データ中には存在しない、という侵入を包含する状況を考慮している。したがって、図３に示すように、本発明による例示の実施形態では、システム１０は、ネットワークにアクセスするために用いられたデータ記録を含むデータ記録の順序付けられた集合を受信し（ステップ２００）、これらのデータ記録に適用される所定の興味しきい値Ｔを割り当てる（ステップ２１０）。次に、データ記録は、パターンの特定の集合がそれと関連するようにしきい値Ｔに基づいて相関される（ステップ２２０）。ステップ２３０では、次に、現行のパターン（例えば、ネットワークに対する所定の不成功ログイン回数）が、集合Ｓ１中に提供されている第１のタイプの期待される事象に対応しているかどうかが判定される。この新規の攻撃の一部であるパターンが集合Ｓ１内に存在するとは期待しなかったが、それは、集合Ｓ１が、訓練データ（例えば、予測モデルを生成するためのサンプル内データ）の中に存在するような攻撃のみと関連するパターンを含んでいるからである。現行のパターンが集合Ｓ１中のパターンと対応している場合、このパターンは、ステップ２４０で第１のタイプのもの、すなわち、明瞭にネットワークに対する侵入攻撃であるとして割り当てられる。そうでない場合、現行のパターンは、集合Ｓ２内に提供されている第２のタイプの期待される事象に対応するものと判定される（ステップ２５０）。
【００２５】
現行パターンが集合Ｓ２内のパターンと対応している場合、このパターンは、ステップ２６０のおいて第２のタイプのもの、すなわち明瞭にネットワークに対する侵入攻撃ではない、として割り当てられる。この新規の攻撃の一部であるパターンが集合Ｓ２内にあるとは期待されないが、その理由は、この集合Ｓ２が、（サンプル内データによって訓練されるような）ネットワークの通常動作と関連するからである。しかしながら、現行パターンが、集合Ｓ１にも集合Ｓ２にも対応しない場合、いかなる周知のパターン集合にもきちんと適合しないパターンが存在することになり、すなわち、それは新規の攻撃である。このパターンは、ネットワークに対する通常の動作とは見なされない。本発明によるシステムと方法のこの例示の実施形態によれば、上記の新規の攻撃内に存在するパターンは、集合Ｓ２内に提供されているパターンとは逸脱していると見なされる。したがって、現行パターンは、第３のタイプの事象、すなわち、期待しなかった（すなわち、興味のある）事象であるはずであり、これは、集合Ｓ１にも集合Ｓ２にも存在しなかったパターンから成る集合Ｓ３の一部であるはずである。したがって、ステップ２７０において、現行パターンは、興味特徴を包含するように設定され、これによって、自身の動作が、ネットワークに対する通常の動作と見なされるものから逸脱していることが識別されるようになり、これは、この逸脱した動作が、たとえどのような周知の攻撃の一部でない場合でも成立する。現行パターンがステップ２４０、２６０及び２７０を参照して上述したように設定されると、（現行パターンの）事象のタイプに関する判定が、ステップ２８０において出力される。
【００２６】
データ記録内に基本的特徴と誘導された特徴、すなわち一時的なパターンの双方が存在するとすれば、このデータに基づいた分類子を生成することが可能である。
【００２７】
本発明による上記の例示の実施形態から、データ記録のパターンに対する興味尺度は、このようなパターンを「期待しなかった」パターンとして印付けするものであると定義され得ることを理解すべきである。期待しなかったパターンを発見するには、最初に、データ記録のシーケンス中で、これらのパターンを一時的ロジック式によって定義するのが望ましい。例えば、このシーケンス中の各データ記録内の事象はその各々が、なんらかの確率で発生し、また、隣り合った事象には特定の条件付きの分布が存在すると仮定することが可能である。このような述語に基づけば、特定のパターンが連続して発生すると期待される回数を計算することが可能である。特定のパターンの実際の発生回数が、期待される発生回数とかなり異なる場合、この特定のパターンは「期待しなかった」、したがって興味あるものと見なされる。
【００２８】
特定のパターンＰの期待発生回数を判定するには、本発明の例示の１実施形態にしたがって事象に対して確率分布を割り当てるのが望ましい。一般的に、特定の問題ドメインは、これらの期待度を個別の事象の頻度の関数として計算するよりも、これらの期待度を評価する好ましい技法を暗示している。例示のネットワーク侵入発見の設定では、ネットワークに対する攻撃の間に特定のパターンＰの期待発生回数を、ネットワークに対する通常動作間における特定のパターンＰの頻度に基づいて計算することが可能である。他の設定、すなわち、ネットワーク侵入発見とは異なった設定においては、期待度を判定する他の技法が適切である。本発明のシステムと方法によって解決される基本的問題点は、特定のパターンの期待度を計算するなんらかの技法があったとして、検索されたデータ記録を用いて興味ある、すなわち期待してなかったパターンを効率的に識別することが可能であるかどうかという点である。
【００２９】
本発明による方法の一つの例示技法では、期待していなかったパターンはすべて、例えば発生回数が特定のしきい値を越えれば発見することが可能である。この例示技法を図４Ａに示す。最初に、入力ストリング／シーケンス３０５、事象確率３０６、興味尺度のしきい値Ｔ及び最大許容パターン長（「ＭＡＸＬ」）の数値３０８が、システム１０に入力される。事象確率３０６は、各々の原始事象に対して判定される。しきい値Ｔ３０７は、パターンの興味尺度がこれを越えたら、パターンを興味あるものと見なす値である。また、ユーザが定義した定数をシステム１０に入力し、これで、システム１０は、特定の事象又はデータ記録が別の事象又はデータ記録に先行することが可能な事象最大数を判定するようにすることも可能である。次に、ステップ３１０において、入力ストリング／シーケンスを走査して、その内部の各事象の興味尺度を判定する。ステップ３１５において、これらの事象を全て包含するリストＬが初期化される。リストＬの内部に提供されている全てのパターンから、最大の興味尺度を有する特定のパターンＣが選択されて、次に拡大されるパターンとなる（ステップ３２０）。
【００３０】
次に、ステップ３２５において、この特定のパターンＣが、入力ストリング／シーケンスを走査することによって実際に拡大され、これによって、特定のパターンＣの発生を検出する。パターンＣの発生が検出されたら、特定のパターンＣは、接頭辞及び接尾辞として拡大される、すなわち、（Ｃ　Ｏｐ　Ｘ）と（Ｘ　Ｏｐ　Ｃ）の全ての発生を記録するが、ここで、Ｘもまたパターンであり、「Ｏｐ」は、一時的演算子を範囲とし、Ｘは全ての事象を範囲とする。その後で、新しく発見された全てのパターンＣ’の興味すなわち期待しなかったパターンが、すなわち、以下に説明するようにシステム１０によって判定される。
【００３１】
ステップ３３０において、新たに発見されたパターンＣ’の長さが、最大許容長（ＭＡＸＬ）未満であるかどうか判定され、未満であれば、この新たに発見されたパターンＣ’は、リストＬから除去することが可能である（ステップ３４０）。未満でなければ、特定のパターンＣは、ステップ３３５においてリストＬから除去される。ステップ３４５において、リストＬが空であるどうか判定される。空でなければ、本発明による方法のこの例示の技法はステップ３２０に戻る。空であれば、ステップ３５０において、興味あるパターンがシステム１０によって、例えばプリンタ３０、表示デバイス４０、記憶デバイス５０及び／又は通信ネットワーク６０に出力される。
【００３２】
本発明の別の例示実施形態では、小さいパターンから初めて、興味ある／期待しなかったより大きいパターンに発見につながる可能性を持つパターンだけを拡大するようにすることが可能である。演算子のクラス、事象の入力シーケンス及び頻度しきい値があれば、この例示の技法を用いて、比較的頻繁に発生するパターンを最初に全て発見しておくのが望ましい。この問題を解決する例示の技法は、新しい候補パターンを構築することと、これらの候補の発生回数をカウントすることの２つの交番するフェーズを有している。
【００３３】
この例示の技法の効率は、次の２つの観察に基づいている：
ａ．評価しなければならないパターンが潜在的に数多く存在する場合、小さいパターンから大きいパターンを所定の仕方で構築することによって、探索スペースを劇的に切り詰めることが可能である。例えば、パターン「αＮβＮγ」が頻繁に発生する場合、パターン「αＮβ」と「βＮγ」もまた、頻繁に発生するはずである。したがって、頻繁に発生するはずのパターンＰは、そのサブパターンもまた頻繁に発生するはずである。頻繁に発生するパターンを識別するこの例示の技法は、あるパターンのサイズｎ−１の接頭辞と接尾辞自身が頻繁に発生する場合に、このパターンのサイズはｎであると見なすことによって、この事実を利用することが可能である。
【００３４】
ｂ．あらゆる複雑なパターンは、他の小さいパターンを再帰的に組み合わせた結果であったりする。例えば、パターン“αＮβＢＫδＢＫγ”の発生回数を効率的にカウントするためには、２つのパターン「αＮβ」と「δＢＫγ」の発生回数とロケーションを識別し、これらのパターンをＢＫ演算子によって組み合わせる効率的な方法を有することが望ましい。一般的には、例示の演算子はすべてバイナリとすることが可能であるので、２つのパターンを演算子Ｏｐで組み合わせて大きいパターンを作成して、結果として得られるパターンの発生回数を判定するには、Ｏｐの２つのオペランドの数値とロケーションを判定し、Ａ　Ｏｐ　Ｂという形態を持つパターンの位置を突き止める効果的な仕方を提供するのが望ましい。
【００３５】
本発明によるこの例示の技法は、初期において、長さ１を持つパターン（例えば、パターンの長さは、内部で発生する数事象である）の発生回数をカウントする。その後で、次の発見反復に対する候補の集合を、頻繁に発生する全ての長さ１のパターンを各演算子によって対で組み合わせることによって計算する。例えば、ｎ番目の反復においては、長さｎ−１と長さ１のパターンの組み合わせを、もし結果として得られる長さｎのパターンの長さ（ｎ−１）接頭辞と接尾辞が既に直前の反復において頻繁に発生すると見なされていれば、この候補に追加することが可能である。次に、発見フェーズの間、候補の長さｎのパターンの発生回数とロケーションは、その長さｎ−１の接頭辞と長さ１の接頭辞のロケーションが分かれば判定することが可能である。このプロセスは、候補の集合（すなわちリスト）が空になるまで継続される。この例示の技法による記憶要件は最小化されるが、その理由は、一旦パターンを頻繁には発生しないと見なせば、それはより大きい頻繁に発生するパターンのサブパターンであるとは決してなり得ず、したがって切り捨てることが可能であるからである。このような特性は、以下に詳述するように、上記の興味の定義の見解の場合においても成立する。特に、パターンは、その成分となっているサブパターンが期待したものであっても、自身は期待しなかったものであるということがあり得る。この興味尺度の特徴は、次の例を用いると理解されよう。
【００３６】
事象の集合をＥ＝｛Ａ，Ｂ，Ｃ｝とする。これらの事象の確率を、Ｐｒ［Ａ］＝０．２５；Ｐｒ［Ｂ］＝０．２５；Ｐｒ［Ｃ］＝０．５０とする。また、これらの事象を互いに独立であると仮定する。興味しきい値Ｔ＝２である、すなわち、パターンが興味あるものであるためには、このパターンの実際の発生回数をこのパターンの期待発生回数の値で除算した値は、２を越えるのが望ましい。例えば、次の事象のストリングをシステム１０に入力することが可能である：
ＡＢＡＢＡＢＡＢＣＣＣＣＣＣＣＣＣＣＣＣ　（このストリングの長さＮ＝２０）
確率が上記のようであれば、Ｅ［Ａ］＝５であり、またＥ［Ｂ］＝５であり、ＡＮＢ問い形態を持つパターンの期待度を計算するための式は：
Ｅ［ＡＮＢ］ ＝　Ｐｒ［Ａ］Ｐｒ［Ｂ］（Ｎ−１）
＝ （０．２５）（０．２５）（１９）
＝　 １．１８７５
Ａ［Ａ］＝４でありＡ［Ｂ］＝４であるので、事象ＡとＢは双方とも、興味ない（事実、これらの事象の実際の発生回数は、期待した値より低かった）が、４回発生したパターンＡＮＢは、以下のように興味あるものであった：
ＩＭ（ＡＮＢ） ＝　 ４／１．１８７５
＝　 ３．３７
この興味尺度の単調性の欠如の結果、特にスペースの複雑性においてかなりより複雑な問題となりかねない。頻繁に発生するパターンを発見するこの例示の技法においては、反復する毎に探索スペースをかなり切り詰める。すなわち、新たに発見されたパターンが、頻度しきい値より発生回数が少ないことが分かった場合、新しい事象をそれに追加する際にそれは切り捨てられ、したがって、その結果、頻繁に発生するパターンとはなり得ない（興味尺度を用いている場合はこの限りではない）。事象を興味ないパターンに追加すると、興味あるパターンが作成されたことが発見されることがあり得る。発見されたパターンをこのように切り詰めることができないということは、期待しなかったパターンを発見するために必要とされるスペースのサイズが大幅に増加することにつながる。
【００３７】
期待しなかったパターンを発見するための本発明による方法の別の例示の技法では、事象のストリング上を連続的に走査するが、各走査毎に新しいパターンを発見する様子を図４Ｂに示す。この例示の技法を要約すると、以前に発見されたパターンのリストを維持し、次に、この技法を反復する毎に、「最良の」パターンがこのリストから選択されて拡大され、次の走査のための種となる。どのパターンが「最良の」パターンであるか判定する例示の方法を以下に説明する。
【００３８】
「最良の」パターンは、拡大の間に興味あるパターンを発生する確率が最も高いパターンと定義することが可能である。既に興味あるパターンを拡大することによって、追加の興味あるパターンを発見することが可能であり、またその可能性も高い。しかしながら、まだ、既に発見されている興味あるパターンの内のどれが拡大される最良の候補であるか判定しなければならない。どの興味あるパターンもまだ拡大されていない場合、興味のないパターンで拡大する価値のあるものがあるかどうか判定する。
【００３９】
本発明によるこの例示の実施形態によれば、入力ストリング／シーケンス３５５、事象確率３５６、興味尺度のしきい値Ｔ３５７、最大許容パターン長（「ＭＡＸＬ」）３５８及び値「ＭＩＮ＿ＴＯ＿ＥＸＰＡＮＤ」３５９をシステム１０に入力する。ＭＩＮ＿ＴＯ＿ＥＸＰＡＮＤ値は、パターンが次のパターンとなるために有しなければならない期待される興味の最小しきい値であるのが望ましい。次に、入力ストリング／シーケンスを走査するが、この場合、それぞれの事象の発生回数（したがって、頻度）をカウントして、各事象の興味とロケーションを判定する（ステップ３６０）。この走査（例えば、線形走査）は、記録ストリング／シーケンス内で発生する「ＤＬ」事象の走査であり、ここで、「Ｄ」はデータ記録の数であり、「Ｌ」は各データ記録中のフィールドの数である。
【００４０】
ステップ３６５で、パターンのリストが、発見されたパターンの集合で初期化される。例えば、特定のＲリストをこの段階で初期化しなければならないが、ここで、Ｒは用いられる一時演算子の数である。リストは各々が、パターン形態Ｘを表すが、ここで、Ｘは任意のリテラルである。一つの一時的演算子に対して、一つのソーティング済みリストを記憶することが可能である。この初期化の処理時間とキャパシティは、これらのリストをソーティングする処理時間とキャパシティに対応しているのが望ましい。初期においては、リストはすべて同一の順序で記憶される。したがって、この初期化の全処理時間と全キャパシティは、Ｏ（Ｎ　ｌｏｇ　Ｎ）で定義されるが、ここでＮは、データベース中の判明な事象の数である。各リテラルαは、各リスト中で、次の初期候補値を有する：
Ａ［α］／Ｐ［α］
ここで、Ａ［α］は、初期走査で判定することが可能なαの発生回数である。
【００４１】
次に、ステップ３７０で、接尾辞リストが初期化される。例えば、「Ｒ」リストは、この段階で初期化するのが望ましいが、ここでＲは、ユーザによって事前定義又は定義することが可能な一時演算子の数である。このようなリストは各々が、長さ２を持つ全てのパターンに対する潜在的な接尾辞を包含している。これらのリストは各々が、その候補値に基づいて再度ソーティングされる。初期においては、これらの候補値は、（ステップ４６５で説明したように）
発見されたパターンの集合のそれと同じであり、したがって、追加のソーティングは必要ない。この初期化の全処理時間とキャパシティは、（ＯＮ）と定義することが可能である。
【００４２】
ステップ３７５において、パターンロケーションが計算される。上述したように、パターンＰとリテラルαのロケーションリストを線形走査することによって、パターンＰをリテラルαと演算子「Ｏｐ」で組み合わせた結果得られるパターンのロケーションを計算することが可能である。この計算のために実行されるべき演算の総数は、これら２つのロケーションリストの内どちらか長い方に比例する。この期待値は次の通りである：
ＤＲ／Ｎ
ここで、Ｄはデータ記録の数であり、Ｒは一時演算子の数であり、Ｎはデータベース中の判明な事象の数である。
【００４３】
次に、既に発見されているパターンがステップ３８０で更新される。候補Ｐ　ｏｐ　αのロケーションが前もって計算されていれば、このステップは２つのサブステップを伴う。この第１のサブステップでは、新たに発見されたパターンは、適切なＲリスト中に挿入される。これらのリストのソーティング済みの順序は維持するのが望ましいので、このような挿入はその動作毎に式Ｏ（ｌｏｇ（Ｌ））を用いるが、ここで、ＬはパターンＰが挿入されつつあるリストの長さである。第２のサブステップは、Ｐがそこから選択されたリストを更新する。まだ演算子Ｏｐで拡大されていないパターンＰの発生回数は、パターンＰ　Ｏｐ　リテラルαの発生回数だけ前もって減少されている。これによって、その候補値とパターンＰが減少する。したがって、パターンＰは、その適切なソーティング位置に復帰すべきである。この演算では、Ｏ（Ｌ）演算が利用されるが、ここで、ＬはパターンＰがそれから選択されたリストの長さである。
【００４４】
ステップ３８５では、接尾辞リストが更新される。特に、パターンＰ　Ｏｐ　リテラルαという形態に対応するリストを更新すべきである。既に発見されているこの形態のパターンの総数は、パターンＰ　Ｏｐリテラルαの発生回数Ｊだけ増加させるべきである。加えて、この形態のパターンの接尾辞としてまだ用いられてはいないリテラルαの数は、同じ値Ｊだけ減少させるべきである。さらに、リテラルαの候補値は、減少中であるので、候補値は、その適切なソーティング順序に入れるべきである。これはＯ（Ｎ　ｌｏｇ　Ｎ）が必要であるが、ここでＮはデータベース中の判明な事象の数である。
【００４５】
その後で、ステップ３９０では、関数「ＣＨＯＯＳＥ＿ＮＥＸＴ　ＣＡＮＤＩＤＡＴＥ」からの出力がＭＩＮ＿ＴＯ　ＥＸＰＡＮＤの値以上であるか判定される。関数ＣＨＯＯＳＥ＿ＮＥＸＴ　ＣＡＮＤＩＤＡＴＥは、パターンＰｉ（これは、発見されたパターンリスト時間の最初で提供される）の各々の候補値にパターン形態の接尾辞マトリックス中の最初の値を乗算することによって結果として得られたＭ値を判定する。例えば、この結果は、発見されたパターンの集合から選ばれたパターンＰｉとリテラルαをパターンＰがそれから取られたリストから取られた演算子に対応する演算子Ｏｐによって組み合わされたものに対して得られる。パターンＰｉ、リテラルαｊ及び演算子Ｏｐは、これらを組み合わせた結果、これらのＭ値の中で最も大きい値となるように選択される。この演算の時間とキャパシティは、Ｏ（Ｍ）と表現することが可能である。関数ＣＨＯＯＳＥ＿ＮＥＸＴ　ＣＡＮＤＩＤＡＴＥから得られた結果が、ＭＩＮ＿ＴＯ＿ＥＸＰＡＮＤ値以上であれば、本発明による方法の処理は、ステップ３７５に戻る。その値が以上でなければ、興味及び／又は期待しなかったパターンは、プリンタ３０、表示デバイス４０、記憶デバイス５０及び／又は通信ネットワーク６０に復帰／出力され、これで、この例示の方法の処理が完了する。
【００４６】
例えば、図４Ｂを参照して上述した例示の技法では、拡大する価値のある候補がもう無くなるまで、期待しなかったパターンの最良の候補を拡大し続ける。この概念をさらに説明するに、次の定義を利用できる：
定義Ｉ．パターンＰのＦＯＲＭ（Ｐ）は、変数で置き換えられたパターンＰ中の全ての基本項目の場合の論理式である。例えば、もしＰ＝αＮβＢＫγＢＫδであれば、ＦＯＲＭ（Ｐ）＝ＷＮＸＢＫＹＢＫＺとなる。入力ストリング／シーケンスの長さが分かっていれば、入力ストリング／シーケンス中の各形態のパターンの数を判定することが可能である。例えば、長さＭのストリングであれば、ＸＮＹという形態のパターンの数はＭ−１である。パターンＸＢＫＹの数は（Ｍ−Ｋ）Ｋ＋（（Ｋ）（Ｋ−１）／（２））である。
【００４７】
定義ＩＩ．パターンＰと演算子Ｏｐが与えられていれば、Ａｃｔｕａｌ　Ｒｅｍａｉｎｉｎｇ（Ｐ　Ｏｐ　Ｘ）は、まだ拡大されていないＰ　Ｏｐ　Ｘという形態のパターンの数である。この値は、各演算子ＯｐとパターンＰに対して維持される。すなわち、ＰＮＸ；ＰＢＫＸ；ＸＢＫＰなどの値が維持される。Ｘは全ての事象をその範囲とする。例えば、入力ストリング中にＰ＝αＢＫβが２０回発生しており、αＢＫβＮＸという形態のパターンが５つ今までに発見されていれば、Ａｃｔｕａｌ　Ｒｅｍａｉｎｉｎｇ　Ｎｅｘｔ　αＢＫβＮＸ＝１５である。
【００４８】
次のヒューリスティックを用いて、発見されたどのパターンが拡大用に用いるパターンとして最良であるか判定される。任意のリテラルＤが与えられていれば、拡大用の最良のパターンＰは、Ｅ［［Ａ［Ｐ　Ｏｐ　δ］／Ｅ［ＰＯｐδ］］の値が一部のδにとっては最大であるようなパターンであるのが望ましい。
【００４９】
このヒューリスティックは、パターンＰ（これは、結果として、興味あるパターンが発見される確率が最も高い）が、リテラルδが存在するパターンであるとする確率的ステートメントであり得る。特に、リテラルδがパターンＰに対して一時演算子Ｏｐの内の一つによって追加された場合に発生されたパターンの興味尺度の期待値は、発見された全てのパターンＰ、リテラルδ及び演算子Ｏｐより高く最高値である。興味尺度の期待値を用いるのが望ましいが、その理由は、パターンＰとリテラルδとの双方の実際の発生回数が周知であるとはいえ、Ｐ　Ｏｐ　δの発生回数は未知である。この期待度は、期待値の前述の偏差から直接的に計算するのが望ましく、また、次の例を用いて既述することが可能である。
【００５０】
もしＰ＝αＮβでＯｐが“ｎｅｘｔ”であれば、
Ｅ［Ａ［ＰＮδ］／Ｅ［ＰＮδ］］
＝（♯ＰＮ）（ＦＲ（δ））＝Ｐｒ［α］Ｐｒ［β］Ｐｒ［δ］（Ｋ−２）となる。
【００５１】
ここで、Ｋ＝入力ストリングの長さ；
ＦＲ（δ）＝パターン＿Ｎ＿ＮＸを完成することが可能なリテラルδの頻度；
＃ＰＮ＝演算子Ｎによってまだ拡大されていないパターンＰの発生回数。
【００５２】
もしＯｐが「ｂｅｆｏｒｅ」であれば、次のようになる：
Ｅ［Ａ［ＰＢＫδ］＝Ｅ［ＰＢＫδ］］
＝（（♯Ｐ）（ＦＲ（δ））（「ＢＥＦＯＲＥＫ」））／Ｐｒ［α］Ｐｒ［β］ Ｐｒ［δ］（Ｋ−２）（「ＢＥＦＯＲＥＫ」）
＝（（♯Ｐ）（ＦＲ（δ）））／Ｐｒ［α］Ｐｒ［β］ Ｐｒ［δ］（Ｋ−２）
ここで、ＢＥＦＯＲＥＫは、成立するＸＢＫＹの２つの事象であるＸとＹ間の最大距離に等しいユーザ定義の変数である。
【００５３】
「ｂｅｆｏｒｅ」、「ｎｅｘｔ」及び「ｕｎｔｉｌ」の演算子Ｏｐのどの組み合わせに対しても類似の引数を用いることが可能である。一般的に、候補パターンＰ、接尾辞、リテラルδ及び演算子Ｏｐは、これらの組み合わせによって、その結果として興味あるパターンが発見される確率が最も高いようなものが選択される。
【００５４】
上記の技法と図４Ｂの参照の全体にわたって、２つのデータ構造を用いて、次の反復の度に最良の候補を効率的に計算するようにすべきである。
【００５５】
2004511834.tif 000003
【００５６】
このマトリックスの構造は、次のようになり得る：各入力［ｉ，ｊ］ｉ∈１，．．．，ｊ∈１，．．．，Ｍは、最終事象がｉである形態ｊを有するまだ発見されていないパターンの残余数を表す。この数値は容易に維持することが可能であるが、その理由は、この数値が、事象ｉの発生総数から最終事象ｉを持つ形態ｊの既に発見されているパターンの数を減算した数であるからである。追加の（Ｎ＋１）行は、形態ｊを持つ既に発見済みのパターンの総数（すなわち、列中の値の総和）が含まれている。この配列の各列は、Ｐｒ［α］で除算された形態ｊを持つパターンを作成するために接尾辞としてまだ追加されないまま残っているリテラルαの数がリテラルαの値を越えていれば、リテラルαは、列ｊにおいてβに先行するようにソーティングすることが可能である。この値は、対応するパターン形態の対応するリテラルの「候補値」と呼ぶことができる。このマトリックスは、「接尾辞マトリックス」と呼ぶことができる。
【００５７】
ｂ．第２のデータ構造は、ＭｘＲリストであり、ここでも、Ｍはまた、発見すべき様々なパターン形態の数であり、Ｒは使用されている一時演算子の数である。リストｊｏｐにおいて、既に発見済みの形態ｊを持つ全てのパターンが、Ｅ［Ｐ］で除算された演算子Ｏｐを用いてまだ拡大されていない各パターンの発生回数によってソーティング済み順序で維持される。この値は、対応する演算子の対応するパターンの「候補値」と呼ぶことできる。このような値は計算するのは簡単であり、その理由は、形態Ｐ　Ｏｐ　Ｘを有するパターンの総数が周知であるからである。各パターンと共に、所与のパターンＰの発生回数とパターンＰのロケーションを維持することが可能である。この配列は、「発見されたパターンの集合」と呼ぶことできる。
【００５８】
これら２つのデータ構造の各々から取った要素の最良の組み合わせは、次の発見反復の候補である。例えば、反復する度に、最大許容パターン長未満の長さを持つ発見済みパターンの集合中の各リスト内の最初の値は、パターンＰ１，Ｐ２，．．．，ＰＭに対応すると仮定することが可能である。加えて、接尾辞ｊマトリックス中の各列内の最初の値は、リテラルα１，α２，．．．，αＭに対応すると仮定することが可能である。候補値を乗算した結果得られるＭ値は、これらのパターンＰｉに、発見済みパターンの集合から取ったパターンＰｉをリテラルαとパターンＰがそれから取られたリストの演算子に対応する演算子Ｏｐによって組み合わせた結果であるパターン形態の接尾辞マトリックス中の最初の値を乗算したものの各々に対して計算される。パターンＰｉ、リテラルαｊ及び演算子Ｏｐは、これらを組み合わせた結果、これらのＭ値内で最大値となるように選択することが可能である。こうするに際して、組み合わせた結果、興味あるパターンが発見される確率が最高となるような候補パターン、リテラル及び演算子を選択する目標が、達成可能である。一旦これらの候補が選択されると、パターンＰｉ　Ｏｐ　αｊの発生回数の判定を、パターンＰｉとリテラルαｊのロケーションリストを線形走査することによって計算することが可能である。例えば、Ｏｐ＝Ｎであれば、Ｐｉがロケーション１で発生し、αｊがロケーション１＋１で発生するようなロケーションを探索することが可能である。Ｏｐ＝＾であれば、Ｐｉとαｊの双方が発生するロケーションを探索することが可能である。上記の手順を始動する方法の内の一つは、組み合わせた結果、興味あるパターンが発見される確率が最高となるような変数トリプル（すなわち、パターン、リテラル及び演算子）を選択する方法である。手順が進むに連れて、所与のパターンＰが、多くの新たに発見されたパターンを拡大の候補として発生していなければ、パターンは、自身の関連のソーティング済みリストの先頭に向けて浸透していくのが望ましい。リテラルαが多くの発見されたパターンの接尾辞として使用されていない場合、このリテラルはその接尾辞リストの先頭に浸透していく。このようにして、パターンとリテラルが、興味あるパターンを発生する確率が高くなるに連れて、これらは組み合わせられて、次の反復の候補として選択される確率が高くなる。
【００５９】
ＩＩ．データの分類
図２に示した本発明による方法に戻ると、特徴選択ステップで得られたデータが分類される（ステップ１１０）。このデータ分類は、データマイニングの通常の当業者にとっては問題であった。最も広く利用されている分類技法では、判断ツリーが用いられる。これらの神経ネットワークなどのツリーは、（判断ツリーはよりロバストな関数クラスを表すことが可能であるという点で）強力な分類技法である。しかしながら、通常の当業者は、データ分類のために神経ネットワークを使用しないことがしばしばあるが、その理由は、神経ネットワークは計算的に複雑であり、透明性に欠けるからである。分類子の重要な特徴の一つは、結果として得られる機能が、究極的に理解可能であるという点である。分類子によって予測がなされた理由を理解し、これによって現行の問題ドメイン中に存在する関係をより良く理解するようにするのが望ましい。神経ネットワークはブラックボックスであり、その予測は正確であるとはいえ、手近な問題に関する洞察をほとんどもたらさない。
【００６０】
本発明は、「ＭＡＲＳ」（多変量適応回帰スプライン）として知られている代替の技法を用いる。ＭＡＲＳの詳しい説明は、例えば、１９９１年の統計年報の第１９巻の第１号の１〜１４１ページのＪ．　Ｆｒｉｅｄｍａｎの「多変量適応回帰スプライン」に見受けられる。ＭＡＲＳは、計算的に扱いやすく究極的に解釈可能でありながら、標準の判断ツリーの欠点を多く克服する非線形技法である。
【００６１】
再帰的分割法は、多変量関数近似の方法としては最も適応性の高いものであるとはいえ、それは、その効果を限ってしまういくつかの重大な制限を持つ。これらの制限の内で最も重大な制限の内の一つが、近似関数が、サブ領域の境界（ノードにおけるスプリットとして定義される）で不連続であるという点である。このため、特に、真の基礎関数が連続的である場合には、近似の正確性が厳しく制限される。予測変数が少し摂動しても、潜在的に、予測が広範囲に変動する結果となりかねない。加えて、判断ツリーは、線形関数や加法的関数などの単純なクラスの関数を複数個近似させるのが苦手である。特徴選択の結果得られた記録には、一時的特徴の集合が添加される。例えば、９個の特徴を有するデータ記録から２００個の特徴を有するデータ（すなわち、高次元データ）まである。
【００６２】
分類技法はすべて、サンプルデータに基づいて良好に作動するように設計されたサンプル内データに基づいてモデルを生成するため、また、結果として得られる高次元性のため、過剰適合という問題が以下に説明するように発生する。
【００６３】
ＩＩＩ．収縮によるバイアスの増加
あらゆる分類技法において、自由度を追加すると、モデルの分散量を増加させると同時に、モデルのサンプル内誤差（バイアス）を減少させる。その結果、しばしば、サンプル外データの近似がうまく行かないことになる。この問題を処理するために、一部の分類方法では、一般的には分類モデルの自由度を減少させることによってモデルバイアスを減少させる技法が含まれる。このように自由度を減少させることによって、分類モデルの分散とサンプル外誤差を減少させる一方で、分類モデルのバイアスを増加させる。
【００６４】
予測は平均化することによって組み合わすことが可能であり、この結果、最尤推定量（「ＭＬＥ」）となる。この方式の適用性と有用性を評価するには、より一般的状況として、ｔ（ｘ）によってパラメータΘを推定することを試行する状況を考えると良い。例えば、Ｅ［ｔ（ｘ）］＝Θとすると、ｔ（ｘ）をΘの無バイアスの推定量とすることが可能であり、この推定量の精度の尺度は、Ｅ［ｔ（ｘ）−Θ］２、すなわちその分散である。一方、Ｅ［ｔ（ｘ）］≠Θとすると、ｔ（ｘ）は、Θのバイアスされた推定量となる。それでも、その精度の尺度は、Ｅ［ｔ（ｘ）−Θ］２であるが、Ｅ［ｔ（ｘ）］≠Θであるので、この分量は分散ではなく、平均自乗誤差として知られているものである。したがって、次式となる：
Ｅ（［ｔ（ｘ）−Θ］２）＝Ｅ（［ｔ（ｘ）−Ｅ［ｔ（ｘ）］＋Ｅ［ｔ（ｘ）］−Θ］２）
＝Ｅ（［ｔ（ｘ）−Ｅ［ｔ（ｘ）］］２）＋（Ｅ［ｔ（ｘ）］−Θ］）２＋２（Ｅ［ｔ（ｘ）］−Θ）Ｅ［ｔ（ｘ）−［ｔ（ｘ）］］
＝Ｅ（［ｔ（ｘ）−Ｅ［ｔ（ｘ）］］２）＋（Ｅ［ｔ（ｘ）］−Θ］）２　　 　　　　＝ｖａｒ［ｔ（ｘ）］＋（Ｅ［ｔ（ｘ）］−Θ］）２
＝ｖａｒ［ｔ（ｘ）］＋［Ｂｉａｓ（ｔ）］２
バイアスを増加させないで分散を減少させると、ＭＬＥを均一に小さくすることが可能である。現在ではシュタインの収縮として知られているシュタインの推定量は、１９７３年３月に発行された米国統計協会ジャーナルの第６８巻の１１７〜１３０ページのＢ．　Ｅｆｒｏｎらによる「シュタインの推定値ルールとその競合的存在である実験的なベイズの方式」に記載されているが、これは、元来線形関数におけるバイアスを減少させる場合のために開発されたものであった。シュタインの推定量の結果は、発展させて非線形の場合に応用可能である。例えば、推定されたパラメータをサンプル平均に近づくように「収縮」させることによって、この方式では、サンプル内データとサンプル外データ巻の推定量の分散の分布の偏差によるインパクトを減少させて非定常性の影響を軽減させる。
【００６５】
その後で、図２のステップ１３０では、予測モデルを、特徴選択が実行され、及び／又は分類されて収縮されたデータ記録に基づいて発生する。最終的に、ステップ１４０で、このような予測モデル及び／又は分類され減少したデータが、プリンタ３０、表示デバイス４０、記憶デバイス５０及び／又は通信ネットワーク６０に出力される。
【００６６】
ＩＶ．本発明の例示の適用性
本発明によるシステムと方法は、２つの例示の設定、例えば、ネットワーク侵入発見と病気の分類に用いることが可能である。これらの例示の設定の各々に対する本発明の実施形態を以下に検討する。
【００６７】
Ａ．ネットワーク侵入発見とは、コンピュータネットワークに対する侵入を検出するという問題を処理するものである。要約すれば、訓練データは、接続が攻撃の一部であるか、また、特定の攻撃タイプを持つものであるかどうかによって０／１と査定されたＴＣＰ／ＩＰ記録の集合から成る。これで、侵入発見システムは、通常のネットワークアクティビティと不正のそれとを区別する特徴を学習する。次に、これらの特徴は、分類子に対する入力となり、この分類子は、サンプル外データで実行されると、各記録をそれが攻撃の一部である尤度に基づいて査定する。最終的に、第３段階として、多くのサンプル内訓練集合に基づく訓練の結果得られる分類子を組み合わせ、また、過剰適合と非定常性という問題が軽減される。
【００６８】
図５に、本発明によるこのような一つの例示の侵入発見システム（“ＩＤＳ”）４００を示す。最初に、ネットワーク上でのアクティビティに関する記録のシーケンスから成るログファイルという形態で、データを収集する。このログファイルは、情報サーバ４１０、付加ファイアウオール４２０、ユーザーワークステーション４３０及び／又は他のサイトからローカルエリアネットワーク４４０を介して収集することが可能である。発生する各接続毎に一つの記録を作成することが可能である。各記録内の情報には、接続の時間と日付、提供されるサービスのタイプ、出所ポートと宛先ポート、出所ＩＰアドレスと宛先ＩＰアドレス、接続の持続時間及び他のデータが含まれる。
【００６９】
上記のＩＤＳ４００は２つの目的、すなわち、データ収集とネットワークアクティビティの監視及び侵入識別に適うものである。これらの役割に就くに際して、ＩＤＳ４００は、データ記憶用の大型のデータベース（例えば、記憶デバイス５０）及び侵入の一部である尤度に基づいて個別のネットワークアクティビティ記録を査定する計算エンジンを含んだりこれに接続されたりする。訓練フェーズにおいて、また、図６に示すように、ＩＤＳは、ネットワーク上の様々な監視ポイントにおいて生成されたデータを蓄積する（ステップ５００）。次に、これらの集合されたデータ記録は手動で査定され、所与の記録がネットワーク攻撃の一部であったことを示す査定１と記録が通常アクティビティの一部であったことを示す査定０が与えられる。本発明による例示の実施形態は、例えば、米国防総省高等研究計画局（ＤＡＲＰＡ）が生成した査定済みデータを用いる。一旦収集されると、このデータは、図７にさらに詳しく示すようにＩＤＳ４００に対する入力となる。データ記録の初期集合は、本技法の第１段階、すなわち特徴選択、に対する入力を表す。この段階では、追加特徴（一般的には数百個ある）の集合が生成されて各データ記録に追加される（ステップ５１０）。データ記録の最初の集合は、ステップ５２０で現行のデータ記録として設定されるが、この現行のデータ記録は、この技法の第２段階−分類−すなわちＭＡＲＳに対する入力である。ＭＡＲＳは、現行のデータ記録に基づいてサンプル外データに対する攻撃を予測することが可能なデータの関数モデルを生成する（ステップ５３０）。次に、ステップ５４０において、修正されたデータ記録の全ての集合が利用されたかどうか判定される。そうでなければ、ステップ５５０で、修正済みデータ記録の次の集合が現行の記録集合として設定され、プロセスはステップ５３０に戻り、これで、多くの関数モデルが生成されるようにする。次に、このモデルの集合はこの技法の最終段階、すなわち収縮、に対して入力される。収縮の結果、一つのモデルが生成済みの全ての予測モデルの集合化に基づいて生成される（ステップ５６０）。これは、ある意味では、データ内における非定常性の影響を軽減するために実行される。次に、この最終モデルは、ＩＤＳ４００に組み込まれる。ＩＤＳ４００においては、モデルはネットワークアクティビティを監視し、これによって、ネットワークに対する侵入（未遂）の一部であるアクティビティを識別する。これと同時並行して、ＩＤＳ４００は、モデルに対する将来の訓練データとして用いるためネットワークモニターによって生成されたデータ記録を蓄積する。これによって、本発明によるシステムと方法は、ネットワーク上で発生するアクティビティのタイプの変化に基づいて自身を連続的に更新することが可能となる。
【００７０】
Ｂ．病気分類では、主たる焦点は癌であったりする。癌の原因が、健康な細胞のＤＮＡの変質であるとすれば、本発明は、遺伝子発現に基づいて癌を分類する方式を提供するものである。癌の分類という問題とクラスの発見という問題の双方が、健康な細胞とガン細胞との間における遺伝子発現の差異を識別することによって処理される。これで、本発明によるシステムと方法の方式の品質を評価することが可能であるが、この方式では、遺伝学に基づいた組織病理学でなされた診断を正確にそして首尾一貫して検証するために、健康な個人から取ったＲＮＡサンプルと組織病理学的外見によって識別された複数の周知の癌クラスから取ったＲＮＡサンプルの双方を考慮することによって癌を分類する。これは、（以下に説明するように）システムを、癌クラスによって適切に分類された（又は健康であると分類された）ＲＮＡサンプルに基づいて訓練することによって達成される。癌クラス同士間の遺伝的相違を発見することによって、これらのクラスの予想モデルが発生され、次に、これは、交差検証とサンプル外データに基づいた試験によって試験することが可能であり、また、クラスも発見することが可能である。例えば、システムは同じＲＮＡサンプルに基づいて訓練される。しかしながら、このときには、これらのサンプルは分類されていない。各サンプルと関連したクラスは、この情報に関する事前の知識なしで発見される。加えて、これらのサンプル内の新規なクラスが発見される。
【００７１】
図８に示すように、健康なＤＮＡと癌のＤＮＡをそれぞれ異なった色で染色して、細胞の成長と調節に関連すると期待される数千の遺伝子を包含するマイクロ配列上で交雑させることが可能である。このプロセスによって、これらの目標とされた遺伝子の発現レベルを、健康な細胞と癌の細胞との間で比較する。次に癌の分類子は、将来のＤＮＡサンプルを健康なサンプル又は癌のサンプルとして分類することが可能なモデルを構成する。加えて、２つの互いに異なった癌タイプから取ったＤＮＡサンプルを交雑させ、サンプル外の癌のＤＮＡストランドを識別するモデルが構成される。このプロセスによって、本システムは、第１に、ＤＮＡサンプルが癌性であるかどうかを判定し、癌性であれば、関連の癌タイプを識別する。これらの結果によって、特定の癌タイプに対する処置の目標識別性が改善される。特定の癌タイプの識別プロセスは同一ではないが、健康なＤＮＡと癌性のＤＮＡとをどのように区別するかを以下に説明する。
【００７２】
マイクロ配列から収集されたデータは、互いに異なった数千の遺伝子の内部にある正常なＤＮＡと癌性のＤＮＡの双方の遺伝子発現レベルの集合である。一旦収集されたら、このデータは、癌分類システム（ＣＣＳ）に対する入力となる（以下の図を参照）。図９に示すように、この発現レベルの集合は、本発明による方法とシステムの第１段階、すなわち特徴選択、に対する入力を表している。この段階においては、特徴（一般的に、数百ある）の集合が生成される。これらの特徴は、健康なＤＮＡを癌性のＤＮＡから区別する機能という点における、様々な遺伝子の発現レベル同士間の関連する関係を表す。潜在的な特徴の例としては、例えば、発現レベル（遺伝子＃３２）＞Ｔ　ＡＮＤ　発現レベル（遺伝子＃６５６）＞Ｔがある。この特徴は、遺伝子番号３２の発現レベルと遺伝子番号６５６の発現レベルの双方があるしきい値を越え、また、健康なＤＮＡと高度に相関しているか又は癌性のＤＮＡと高度に相関しているかであるような状況を表していた場合にはこれらが含まれることを規定している。したがって、このような特徴は、本技法の第２の段階、すなわちＭＡＲＳに入力される。ＭＡＲＳは、サンプル外データに基づいて健康なＤＮＡと癌性のＤＮＡとを区別することが可能なデータの関数モデルを生成する。このプロセスは、一般的には、互いに異なった訓練データ集合に対して数回実行され、これによって、複数のモデルを生成させる。次に、このモデル集合は、本技法の最終段階、すなわち収縮、に入力される。収縮は、結果として、生成された予測モデルの全てを集合させることに基づいて一つのモデルを発生させる。モデルの組み合わせは、特に、いくつかの癌タイプ間を区別するモデルを構築することを試行する場合には、癌の分類に関連する。モデルは、初期には、癌のクラスの対を区別するために構成される。次に、収縮によって、これらのモデルが組み合わされて、互いに異なった多くの癌クラスを区別することが可能な一つのモノリシックな分類子を生成する。
【００７３】
当業者は、本発明にしたがってこの分類のためのシステムと方法を用いれば、本来データが一時的及び／又は非定常性であるような多く他のドメインや適応可能な例にとって有用となることが明瞭に認識されよう。実際、本発明は、上記の例示応答例とその実施形態にはなんら制限されない。
【図面の簡単な説明】
【図１】
本発明による分類システムの例示の実施形態である。
【図２】
図１の分類システムによって実行可能な本発明による方法の例示の実施形態のトップレベルの図である。
【図３】
特定のパターンが期待しなかったパターンであるかどうかを判定するためにしきい値を利用することによって特徴の選択を実行する本発明による方法の第１の例示の特徴選択技法のフロー図である。
【図４Ａ】
興味尺度に基づいて特徴選択を実行する本発明による方法の第２の例示の特徴選択技法のフロー図である。
【図４Ｂ】
接尾辞リストに基づいて特徴選択を実行する本発明による方法の第３の例示の特徴選択技法のフロー図である。
【図５】
侵入発見システムによる本発明のシステムと方法の例示の実施形態の図である。
【図６】
予測モデルが生成される、図５の侵入発見システムによって利用される本発明の方法の例示の実現形態のフロー図である。
【図７】
図５の侵入発見システムによる本発明の方法の例示の実現例の別のフロー図である。
【図８】
病気分類システムによる本発明のシステムと方法の例示の実現例の図である。
【図９】
図８の病気分類システムによる本発明の方法の例示の実現例のフロー図である。
【図１】
2004511834.tif 000004
【図２】
2004511834.tif 000005
【図３】
2004511834.tif 000006
【図４Ａ】
2004511834.tif 000007
【図４Ｂ】
2004511834.tif 000008
【図５】
2004511834.tif 000009
【図６】
2004511834.tif 000010
【図７】
2004511834.tif 000011
【図８】
2004511834.tif 000012
【図９】
2004511834.tif 000013
【国際公開パンフレット】
2004511834.tif 000014
2004511834.tif 000015
2004511834.tif 000016
2004511834.tif 000017
2004511834.tif 000018
2004511834.tif 000019
2004511834.tif 000020
2004511834.tif 000021
2004511834.tif 000022
2004511834.tif 000023
2004511834.tif 000024
2004511834.tif 000025
2004511834.tif 000026
2004511834.tif 000027
2004511834.tif 000028
2004511834.tif 000029
2004511834.tif 000030
2004511834.tif 000031
2004511834.tif 000032
2004511834.tif 000033
2004511834.tif 000034
2004511834.tif 000035
2004511834.tif 000036
2004511834.tif 000037
2004511834.tif 000038
2004511834.tif 000039
2004511834.tif 000040
2004511834.tif 000041
2004511834.tif 000042
2004511834.tif 000043
2004511834.tif 000044
2004511834.tif 000045
2004511834.tif 000046
2004511834.tif 000047
2004511834.tif 000048
2004511834.tif 000049
2004511834.tif 000050
2004511834.tif 000051
2004511834.tif 000052
2004511834.tif 000053
2004511834.tif 000054
2004511834.tif 000055
2004511834.tif 000056
2004511834.tif 000057
2004511834.tif 000058
2004511834.tif 000059
2004511834.tif 000060
2004511834.tif 000061
【国際公開パンフレット（コレクトバージョン）】
2004511834.tif 000062
2004511834.tif 000063
【国際調査報告】
2004511834.tif 000064
2004511834.tif 000065