複数のデータブロックに対する一意識別子を格納するとともに、格納された一意識別子に関連する前記複数のデータブロックの各々が正当であるか不正であるかのインジケータを格納するように構成された記憶装置と、プロセッサ装置と、を備えるシステムにおいて、前記プロセッサ装置は、データブロックを含むネットワークトラフィックを受信し、前記データブロックがネットワークトラフィックにより受信される際、該データブロックに対する一意識別子であって、該データブロックのコンテンツに対応するハッシュ値を含む一意識別子を生成し、前記データブロックを含むパケットのネットワークトラフィックに対するパケットスキャン動作中、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックのファイルタイプに対応するファイルタイプ特有の検出ナゲットを呼び出して、前記データブロックが悪意のあるものかどうかを検出するために前記データブロックの完全なファイル検査を実行し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、前記データブロックが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さずに、受信されたデータブロックが不正であることを示す警告を発するように構成されている、システム。ファイルタイプ特有の検出ナゲットは、前記データブロックの評価が望まれるとの通知をディスパッチャプログラムに送信し、ファイルタイプ特有の検出ナゲットによる検査を認可するトークンをディスパッチャプログラムから受信し、前記データブロックと検査を認可するトークンとをファイルタイプ特有の検出ナゲットに示して前記データブロックの完全なファイル検査を始めることによって呼び出され、異なるファイルタイプのファイルコンテンツの完全なファイル検査を各々提供するための複数のファイルタイプ特有の検出ナゲットが存在する、請求項1に記載のシステム。複数のファイルタイプ特有の検出ナゲットを格納するナゲット記憶領域をさらに備え、ファイルタイプ特有の検出ナゲットの各々は、ファイルタイプ特有の検出ナゲットに特有の検査を認可するトークンが受信され、該受信したトークンが有効であるとして示される場合、それぞれの異なるファイルタイプに従って前記データブロックのファイル検査を提供し、受信したトークンが有効であるとして示されない場合、前記データブロックのファイル検査を提供せず、ファイル検査は要求されているがトークンは受信されていない場合、前記データブロックのファイル検査を提供しないように構成されている、請求項1に記載のシステム。ファイルタイプ特有の検出ナゲットは、前記データブロックのサブコンポーネントが、ファイルタイプ特有の検出ナゲットによって取り扱われるのとは異なるファイルタイプまたは難読化スキームを伴って見出される場合、該サブコンポーネントに対する一意識別子を作成し、異なるファイルタイプのサブコンポーネントに対応する異なるファイルタイプ特有の検出ナゲットを呼び出して、前記サブコンポーネントが不正であるかまたは悪意のあるものであるかを検出するべく、該サブコンポーネントのコンテンツを検査するか、または記憶装置における前記サブコンポーネントの一意識別子を探し、見出されたサブコンポーネントの検査結果が不正であるかまたは悪意のあるものとして返される場合、記憶装置における前記データブロックの一意識別子とともに前記データブロックが正当であるとのインジケータを格納することに代えて、前記サブコンポーネントが不正であることと前記データブロックが不正であることとを示すサブコンポーネント検査の結果を記憶装置における前記サブコンポーネントおよび前記データブロックの両方の一意識別子とともに格納する、請求項1に記載のシステム。プロセッサ装置は、ファイルタイプ特有の検出ナゲットに新しい検出能力が追加される際、記憶装置に格納されたデータブロックに対する一意識別子に、正当インジケータを用いて汚染として印を付け、プロセッサ装置は、データブロックの正当な状態が検証されるように、データブロックが汚染として示される場合、正当であるとして示すことに代えて、コンピュータ記憶装置において示されていないものとしてデータブロックを取り扱い、示されていた汚染は新しい検出能力が追加された後で置き換えられる、請求項1に記載のシステム。ファイルタイプ特有の検出ナゲットは、特定の既定の攻撃トリガ条件を標的とする完全なファイル解析を実行するように構成されている、請求項1に記載のシステム。プロセッサは、完全なファイルおよびサブコンポーネント処理に基づき遡及警告を提供するようさらに構成されている、請求項1に記載のシステム。記憶装置に格納された一意識別子は、前記複数のデータブロックの各々がネットワークトラフィックにより受信される際、異なる複数のデータブロックにおける完全なファイルコンテンツからの暗号化ハッシュ計算によって得られる、請求項1に記載のシステム。不正なデータブロックを含むメールゲートウェイを通じて受信されたネットワークトラフィックを取り扱うためにメールゲートウェイに取り付けられたアンチウイルスシステムに警告を発する、請求項1に記載のシステム。記憶装置に格納された一意識別子は、該一意識別子がすべてのシステムユーザにユニークである場合、グローバルとしてさらに示され、該一意識別子が個人にユニークであるがすべてのシステムユーザにはユニークでない場合、グローバルとして印を付けられない、請求項1に記載のシステム。プロセッサ装置は、1つまたは複数のファイルタイプ特有の検出ナゲットからファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、該データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットのすべてを呼び出して、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットの各々がデータブロックを検査し、自身のファイル検査の結果を返すことができるようにさらに構成されている、請求項1に記載のシステム。複数のデータブロックに対する一意識別子を格納するとともに、格納された一意識別子に関連する前記複数のデータブロックの各々が正当であるか不正であるかのインジケータを格納するように構成された記憶装置と、プロセッサ装置と、を備えるシステムにおいて、前記プロセッサ装置は、データブロックを含むデータをキャプチャし、該データブロックに対する一意識別子であって、該データブロックに対応するハッシュ値を含む一意識別子を生成し、1つまたは複数のファイルタイプ特有の検出コンポーネントから前記データブロックのファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信し、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、該データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出コンポーネントのすべてを呼び出して、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出コンポーネントの各々が前記データブロックが悪意のあるものかどうかを検出するためにデータブロックを検査を実行し、自身のファイル検査の結果を各々返し、前記ファイルが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出コンポーネントのいずれも呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出コンポーネントのいずれも呼び出さずに、受信されたデータブロックが不正であることを示す警告を発するように構成されている、システム。プロセッサ装置により、データブロックを含むネットワークトラフィックを受信し、前記データブロックがネットワークトラフィックにより受信される際、該データブロックに対する一意識別子であって、該データブロックのコンテンツに対応するハッシュ値を含む一意識別子を生成し、前記データブロックを含むパケットのネットワークトラフィックに対するパケットスキャン動作中、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックのファイルタイプに対応するファイルタイプ特有の検出ナゲットを呼び出して、前記ファイルが悪意のあるものかどうかを検出するために前記データブロックの完全なファイル検査を実行し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、前記ファイルが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さずに、受信されたデータブロックが不正であることを示す警告を発する、方法。ファイルタイプ特有の検出ナゲットは、前記データブロックの評価が望まれるとの通知をディスパッチャプログラムに送信し、ファイルタイプ特有の検出ナゲットによる検査を認可するトークンをディスパッチャプログラムから受信し、前記データブロックと検査を認可するトークンとをファイルタイプ特有の検出ナゲットに示して前記データブロックの完全なファイル検査を始めることによって呼び出され、異なるファイルタイプのファイルコンテンツの完全なファイル検査を各々提供するための複数のファイルタイプ特有の検出ナゲットが存在する、請求項13に記載の方法。複数のファイルタイプ特有の検出ナゲットをナゲット記憶領域に格納する工程をさらに備え、ファイルタイプ特有の検出ナゲットの各々は、ファイルタイプ特有の検出ナゲットに特有の検査を認可するトークンが受信され、該受信したトークンが有効であるとして示される場合、それぞれの異なるファイルタイプに従って前記データブロックのファイル検査を提供し、受信したトークンが有効であるとして示されない場合、前記データブロックのファイル検査を提供せず、ファイル検査は要求されているがトークンは受信されていない場合、前記データブロックのファイル検査を提供しないように構成されている、請求項13に記載の方法。ファイルタイプ特有の検出ナゲットは、前記データブロックのサブコンポーネントが、ファイルタイプ特有の検出ナゲットによって取り扱われるのとは異なるファイルタイプまたは難読化スキームを伴って見出される場合、該サブコンポーネントに対する一意識別子を作成し、異なるファイルタイプのサブコンポーネントに対応する異なるファイルタイプ特有の検出ナゲットを呼び出して、前記サブコンポーネントが不正であるかまたは悪意のあるものであるかを検出するべく、該サブコンポーネントのコンテンツを検査するか、または記憶装置における前記サブコンポーネントの一意識別子を探し、見出されたサブコンポーネントの検査結果が不正であるかまたは悪意のあるものとして返される場合、記憶装置における前記データブロックの一意識別子とともに前記データブロックが正当であるとのインジケータを格納することに代えて、前記サブコンポーネントが不正であることと前記データブロックが不正であることとを示すサブコンポーネント検査の結果を記憶装置における前記サブコンポーネントおよび前記データブロックの両方の一意識別子とともに格納する、請求項13に記載の方法。プロセッサ装置により、ファイルタイプ特有の検出ナゲットに新しい検出能力が追加される際、記憶装置に格納されたデータブロックに対する一意識別子に、正当インジケータを用いて汚染として印を付ける工程と、データブロックの正当な状態が検証されるように、データブロックが汚染として示される場合、正当であるとして示すことに代えて、コンピュータ記憶装置において示されていないものとしてデータブロックを取り扱い、示されていた汚染は新しい検出能力が追加された後で置き換えられる工程と、をさらに備える請求項13に記載の方法。ファイルタイプ特有の検出ナゲットにより、特定の既定の攻撃トリガ条件を標的とする完全なファイル解析を実行する工程をさらに備える、請求項13に記載の方法。完全なファイルおよびサブコンポーネント処理に基づき遡及警告を提供する工程をさらに備える、請求項13に記載の方法。前記複数のデータブロックの各々がネットワークトラフィックにより受信される際、異なる複数のデータブロックにおける完全なファイルコンテンツからの暗号化ハッシュ計算によって記憶装置に格納された一意識別子を得る工程をさらに備える、請求項13に記載の方法。不正なデータブロックを含むメールゲートウェイを通じて受信されたネットワークトラフィックを取り扱うためにメールゲートウェイに取り付けられたアンチウイルスシステムに警告を発する工程をさらに備える、請求項13に記載の方法。記憶装置に格納された一意識別子がすべてのシステムユーザにユニークである場合、該該一意識別子をグローバルとしてさらに示し、該一意識別子が個人にユニークであるがすべてのシステムユーザにはユニークでない場合、記憶装置に格納された一意識別子にグローバルとして印を付けない工程をさらに備える、請求項13に記載の方法。プロセッサ装置により、1つまたは複数のファイルタイプ特有の検出ナゲットからファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信する工程と、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットの各々がデータブロックを検査し、自身のファイル検査の結果を返すことができるように、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットのすべてを呼び出す工程と、をさらに備える請求項13に記載の方法。請求項13に記載の方法を実行するための実行可能命令を含むコンピュータ可読媒体。記憶装置により、複数のデータブロックに対する一意識別子を格納するとともに、格納された一意識別子に関連する前記複数のデータブロックの各々が正当であるか不正であるかのインジケータを格納し、プロセッサ装置により、データブロックを含むデータをキャプチャし、該データブロックに対する一意識別子であって、該データブロックに対応するハッシュ値を含む一意識別子を生成し、1つまたは複数のファイルタイプ特有の検出コンポーネントから前記データブロックのファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信し、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、該データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出コンポーネントのすべてを呼び出して、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出コンポーネントの各々が前記データブロックが悪意のあるものかどうかを検出するためにデータブロックを検査を実行し、自身のファイル検査の結果を各々返し、前記ファイルが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出コンポーネントのいずれも呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出コンポーネントのいずれも呼び出さずに、受信されたデータブロックが不正であることを示す警告を発する、方法。請求項25に記載の方法を実行するための実行可能命令を含むコンピュータ可読媒体。この手法は、クライアント側の攻撃の完全な検出が望まれる場合は、その維持が不可能とは言わないまでも難しい。ファイル形式オフセットテーブル、埋め込みファイルおよびバックワードポインタ参照の処理における困難のため、および、攻撃者が利用可能な幅広い回避能力ファイル形式仕様の緩いloose解釈、暗号化、符号化、圧縮およびスクリプト難読化のため、検出の維持は難易度が高い。それに加えて、数千ものクライアントの行動をモデル化する必要があり、ワイヤスピードで動作するための要件が非現実的になる。その上、データのキャプチャおよびデータ分析システムのベンダ特有の実装形態は、通常、データを交換するためのメカニズムを実現せず、それぞれの検出システムは離散的であり、入来データを示すことは制限され、そのデータが以前に評価されたかどうか全く理解できない。この手法では、検出技術において行われる完全投資fullinvestmentの利用に失敗し、不要な量のオーバーヘッドをシステムに招く。したがって、1つまたは複数の実施形態では、方法、システム、および/またはコンピュータ可読メモリ媒体を提供する。ここで、記憶装置は、複数のデータブロックに対する一意識別子を格納するとともに、格納された一意識別子に関連する前記複数のデータブロックの各々が正当であるか不正であるかのインジケータを格納するように構成される。また、プロセッサ装置は、データブロックを含むネットワークトラフィックを受信し、前記データブロックがネットワークトラフィックにより受信される際、該データブロックに対する一意識別子であって、該データブロックのコンテンツに対応するハッシュ値を含む一意識別子を生成し、前記データブロックを含むパケットのネットワークトラフィックに対するパケットスキャン動作中、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックのファイルタイプに対応するファイルタイプ特有の検出ナゲットを呼び出して、前記ファイルが悪意のあるものかどうかを検出するために前記データブロックの完全なファイル検査を実行し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、前記ファイルが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、ファイルタイプ特有の検出ナゲットを呼び出さずに、受信されたデータブロックが不正であることを示す警告を発するように構成されている。一変形形態では、ファイルタイプ特有の検出ナゲットは、前記データブロックの評価が望まれるとの通知をディスパッチャプログラムに送信し、ファイルタイプ特有の検出ナゲットによる検査を認可するトークンをディスパッチャプログラムから受信し、前記データブロックと検査を認可するトークンとをファイルタイプ特有の検出ナゲットに示して前記データブロックの完全なファイル検査を始めることによって呼び出され、異なるファイルタイプのファイルコンテンツの完全なファイル検査を各々提供するための複数のファイルタイプ特有の検出ナゲットが存在する。さらに別の一実施形態では、複数のファイルタイプ特有の検出ナゲットを格納するナゲット記憶領域をさらに備え、ファイルタイプ特有の検出ナゲットの各々は、ファイルタイプ特有の検出ナゲットに特有の検査を認可するトークンが受信され、該受信したトークンが有効であるとして示される場合、それぞれの異なるファイルタイプに従って前記データブロックのファイル検査を提供し、受信したトークンが有効であるとして示されない場合、前記データブロックのファイル検査を提供せず、ファイル検査は要求されているがトークンは受信されていない場合、前記データブロックのファイル検査を提供しないように構成されている。さらなる一変形形態では、ファイルタイプ特有の検出ナゲットは、前記データブロックのサブコンポーネントが、ファイルタイプ特有の検出ナゲットによって取り扱われるのとは異なるファイルタイプまたは難読化スキームを伴って見出される場合、該サブコンポーネントに対する一意識別子を作成し、異なるファイルタイプのサブコンポーネントに対応する異なるファイルタイプ特有の検出ナゲットを呼び出して、前記サブコンポーネントが不正であるかまたは悪意のあるものであるかを検出するべく、該サブコンポーネントのコンテンツを検査するか、または記憶装置における前記サブコンポーネントの一意識別子を探し、見出されたサブコンポーネントの検査結果が不正であるかまたは悪意のあるものとして返される場合、記憶装置における前記データブロックの一意識別子とともに前記データブロックが正当であるとのインジケータを格納することに代えて、前記サブコンポーネントが不正であることと前記データブロックが不正であることとを示すサブコンポーネント検査の結果を記憶装置における前記サブコンポーネントおよび前記データブロックの両方の一意識別子とともに格納する。さらに別の変形形態では、プロセッサ装置は、ファイルタイプ特有の検出ナゲットに新しい検出能力が追加される際、記憶装置に格納されたデータブロックに対する一意識別子に、正当インジケータを用いて汚染として印を付け、プロセッサ装置は、データブロックの正当な状態が検証されるように、データブロックが汚染として示される場合、正当であるとして示すことに代えて、コンピュータ記憶装置において示されていないものとしてデータブロックを取り扱い、示されていた汚染は新しい検出能力が追加された後で置き換えられる。さらにまた別の変形形態では、ファイルタイプ特有の検出ナゲットは、特定の既定の攻撃トリガ条件を標的とする完全なファイル解析を実行するように構成されている。さらに別の変形形態では、プロセッサは、完全なファイルおよびサブコンポーネント処理に基づき遡及警告を提供するようさらに構成されている。さらに別の変形形態では、記憶装置に格納された一意識別子は、前記複数のデータブロックの各々がネットワークトラフィックにより受信される際、異なる複数のデータブロックにおける完全なファイルコンテンツからの暗号化ハッシュ計算によって得られる。さらなる一変形形態では、不正なデータブロックを含むメールゲートウェイを通じて受信されたネットワークトラフィックを取り扱うためにメールゲートウェイに取り付けられたアンチウイルスシステムに警告を発する。さらに別の変形形態では、記憶装置に格納された一意識別子は、該一意識別子がすべてのシステムユーザにユニークである場合、グローバルとしてさらに示され、該一意識別子が個人にユニークであるがすべてのシステムユーザにはユニークでない場合、グローバルとして印を付けられない。さらに別の変形形態では、プロセッサ装置は、1つまたは複数のファイルタイプ特有の検出ナゲットからファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、該データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットのすべてを呼び出して、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットの各々がデータブロックを検査し、自身のファイル検査の結果を返すことができるようにさらに構成されている。さらに他の複数の実施形態では、方法、システム、および/またはコンピュータ可読メモリ媒体を提供する。ここで、記憶装置は、複数のデータブロックに対する一意識別子を格納するとともに、格納された一意識別子に関連する前記複数のデータブロックの各々が正当であるか不正であるかのインジケータを格納するように構成される。また、プロセッサ装置は、データブロックを含むデータをキャプチャし、該データブロックに対する一意識別子であって、該データブロックに対応するハッシュ値を含む一意識別子を生成し、1つまたは複数のファイルタイプ特有の検出ナゲットから前記データブロックのファイルタイプを含む1つまたは複数のファイルタイプによる対象の宣言を受信し、記憶装置における一意識別子によりデータブロックが正当であるとして示されるかまたは不正であるとして示されるかを判断し、前記データブロックが記憶装置における一意識別子により示されていないと判断される場合、該データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットのすべてを呼び出して、前記データブロックのファイルタイプを対象とすると宣言した1つまたは複数のファイルタイプ特有の検出ナゲットの各々が前記データブロックが悪意のあるものかどうかを検出するためにデータブロックを検査を実行し、自身のファイル検査の結果を各々返し、前記ファイルが正当であるか不正であるかを示す完全なファイル検査の結果を該データブロックの一意識別子とともに記憶装置に格納し、記憶装置における一意識別子により前記データブロックが正当であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出ナゲットのいずれも呼び出さず、記憶装置における一意識別子により前記データブロックが不正であるとして示されると判断される場合、前記1つまたは複数のファイルタイプ特有の検出ナゲットのいずれも呼び出さずに、受信されたデータブロックが不正であることを示す警告を発するように構成されている。さらに他の実施形態では、上記を実行するために1つまたは複数の方法を提供する。他の実施形態では、1つまたは複数の方法を実行するよう構成された装置を提供する。さらに別の実施形態では、1つまたは複数の方法を実行するための実行可能命令を含む、非一時的なものと定義されるコンピュータ可読媒体を提供する。さらに、前述の要約書の目的は、一般に、米国特許商標局および公衆が、特に、特許または法的用語または言い回しに精通していない当技術分野の科学者、技術者および専門家が、素早く一瞥するだけで、本出願の技術的開示の性質および本質を判断できるようにすることである。要約書は、特許請求の範囲によって決定される本出願の本発明を定義することを意図するものでも、いかなる方法においても本発明の範囲を限定することを意図するものでもない。同一の参照番号は同一のまたは機能的に同様な要素を指す添付の図面は、以下の詳細な説明と併せて、本明細書に組み込まれ、本明細書の一部をなし、さまざまな例示的な実施形態をさらに解説し、本発明によるさまざまな原理および利点を説明するよう機能する。概要では、本開示は、送信元と送信先との間の通信をサポートするパケット交換ネットワークと呼ばれる場合が多い通信ネットワーク上で送信される場合があるファイルの分析に関する。そのような通信ネットワーク上のパケットは、ファイルに関する情報を運ぶことができる。より具体的には、さまざまな発明概念および原理は、ネットワークトラフィックで検出されるか、または、別の方法で提供されるファイルを評価するために、その中のシステム、装置および方法において具体化され、脅威のリアルタイム検出を提供する。また、さまざまな発明概念および原理は、ネットワーク上の遠隔地において特定のタイプのデータのキャプチャを管理して、任意の検出システムへそのデータをルーティングするために、その中のシステム、装置および方法において具体化される。本開示は、本発明の1つまたは複数の実施形態を実行する最良の態様を、実現できるように、さらに説明するために提供される。本開示は、何らかの方法で本発明を限定するよりもむしろ、本発明の原理およびその利点への理解と認識を高めるためにさらに提供される。本発明は、単に添付の特許請求の範囲本出願の係属中に作成された任意の補正書および発行されたこれらの特許請求の範囲のすべての均等物を含むによって定義される。第1および第2および同様のもののような関係用語が記載される場合は、本明細書では、単に実体、アイテムまたは行動を互いに区別するために使用され、そのような実体、アイテムまたは行動間における任意の実際のそのような関係または順番を必ずしも要求することも含意することもない。いくつかの実施形態は、複数のプロセスまたは工程を含み得、特定の順番に明示的におよび必然的に限定されない限り、任意の順番で実行することができる、すなわち、そのように限定されていないプロセスまたは工程は、任意の順番で実行され得る。本発明の機能性の大部分および本発明の原則の多くは、実施されると、ソフトウェアもしくは集積回路IC、例えばデジタル信号プロセッサおよびソフトウェア、ひいては特定用途向けICを用いて、または、ソフトウェアもしくは集積回路、例えばデジタル信号プロセッサおよびソフトウェア、ひいては特定用途向けIC内で最適にサポートされる。恐らくは、例えば、利用可能な時間、現行技術および経済面での考慮事項によって動機付けられる重要な取り組みおよび多くの設計選択であろうにもかかわらず、本明細書に開示される概念および原理に導かれると、当業者は、最小限の実験でそのようなソフトウェア命令またはICを容易に生成できることが予想される。したがって、本発明による原理および概念を不明瞭にするいかなるリスクも簡潔にして最小化するためにも、そのようなソフトウェアおよびICに関するさらなる論考が記載されていれば、例示的な実施形態で使用される原理および概念に関する本質的要素に限定される。さらに、例示的な実施形態によれば、既存のネットワーク侵入システムを使用して、標準IDS/IPSの機能性の継続を可能にする一方で、ネットワークトラフィックからファイルを再構築することができる。システムは、一連の既知の正当なデータ/既知の不正なデータに対してファイルおよび関連メタデータを評価し、その情報によりファイルからの脅威のレベルを判断できない場合は、そのファイルをディスパッチシステムに渡すことができ、次いで、ディスパッチシステムはマルチノードの外部の検出システムへの分配を管理する。次いで、ディスパッチシステムは、検出システムからのフィードバックを管理し、要望通りに警告およびロギングを提供し、既存のIDS/AV/トラフィックフィルタリングシステムにフィードバックを提供してリアルタイム検出を更新する。さらに、他の例示的な実施形態によれば、システムは、データキャプチャとデータ分析を結び付ける伝統的なモデルを切り離すメカニズムを提供することができる。その際、システムは、検出能力を能力アレイに組織化することができ、それにより、アレイ内の各実体が1つまたは複数のデータタイプを対象とすると宣言することが可能になる。次いで、データ収集ポイントは、特定のタイプのものとしてキャプチャされたデータにタグ付けする。最終的に、主要なルーティングシステムは、提供されたデータタグに基づいて、対象とする検出コンポーネントにそのデータをルーティングする。ネットワークベースのIDSシステムとの共通点を作成することができるが、完全なファイル処理を行う公知のシステムは存在しない。それらのシステムは、通常、ベンダが提供するシグネチャに取り組む。このシステムは、拡張可能な検出のためのフレームワークを導入し、伝統的なAV手法とは異なり、既知の攻撃のシグネチャだけではなく、攻撃トリガ条件を標的とする。ベクトル型コンテンツプロトコルVCP:VectorContentProtocolは、ネットワーク上でコンテンツを管理するための別の技術として言及される。ヒューリスティックベースのAVアンチウイルスとの共通点が存在する。準リアルタイム攻撃検出システムおよび方法図2~図4のための詳細なアーキテクチャの3つの異なる実施形態について論考する前に、図1に示される高水準アーキテクチャの例について説明する。準リアルタイムNRTネットワーク攻撃検出に関連する高水準アーキテクチャを示す図である図1を参照する。ディスパッチャは、起動時に実行することができる中央サービスである。初期化の際、ディスパッチャは、情報漏えい防止DLPデータファイルを処理し、ファイル名および一意識別子UIDをデータベースに挿入する。また、ディスパッチャは、構成別に、リアルタイムシステムにシグネチャを配置し以下を参照、潜在的な情報漏えいイベントの検出およびブロッキングにおける支援を行う。SnortIDSSourcefireから入手可能について、IDSの一例として以下で論考する。しかし、別のIDS/IPSをベースとして使用することができる。関与しているSnortIDSセンサは、評価および警告のために要望通りにメタデータをキャプチャするプリプロセッサ145を起動する。送信元データURL/sendmailヘッダ/FTPIP、ファイルサイズおよびファイル名。この情報およびユーザ構成に基づいて、プリプロセッサは、ファイルが対象とするかどうか判断する。該当する場合は、システムは、ネットワークストリームからファイルを取り出し始める149。ファイルを取り出すと、送信元データをローカルキャッシュと比較し、送信元が既知の悪意のあるサイトかどうか評価する147。ローカルキャッシュ上にエントリがなければ、集中データベースへのクエリを行い、同じチェックを行う137。送信元が既知の悪意のあるサイトのリスト内にあれば、SnortIDSは、今後のトラフィック構成される場合を警告してブロックするよう命令を受け103、ディスパッチャシステムに警告を通知する。SnortがIPS構成でない場合または送信元情報がいかなる既知の悪意のあるリストにもなかった場合は、すべてのファイルをキャプチャし149、検出を継続する。一旦すべてのファイルを取り出せば、ファイル用のUIDを作成する。ローカルキャッシュに対するクエリは、既知の不正なUIDおよび既知の正当なUIDに対して行われる151。ローカルキャッシュ上にエントリがなければ、すべての判断された既知の正当なおよび既知の不正なチェックサムを保持する集中データベースへの同じクエリを行う139。ファイルが既知の正当であると判断されれば検出を停止し、ファイルが既知の不正なUIDと一致すればSnortとディスパッチャの両方に警告が出される。ファイルがいずれの既知のUIDとも一致しない場合は、検出を継続する。ファイルの評価が望ましいという通知はディスパッチャに送信される153。要求は、ファイルタイプ、ファイル名およびUIDを含む。ディスパッチャは、そのファイルタイプやファイル送信を認可するトークンを取り扱うことができる徹底検査ナゲットDIN:DeepInspectionNuggetの位置を返す141。また、ディスパッチャは、トークンが有効であることもDINに通知する。次いで、プリプロセッサは、DINと連絡を取り、ファイル送信の認可としてトークンを提供する。次いで、ファイルをDIN119に提供し143、完全なファイル検査を開始する。最初にファイルを受信するDIN119は、特にそのファイルタイプを取り扱うために作成される。DINは、ファイル仕様によって決定される123そのアトミックなコンポーネントへとファイルを解析パースする121。次いで、DINは、そのファイルタイプ特有の攻撃または攻撃インジケータの検出を進める131。ファイルが、この初期の処理に基づいて、悪意のあるものとして見出された場合、DINは、ファイルが悪意のあるものとして判断された理由に関する通知、事件対応チームを支援するメタデータおよびファイルのすべてのコピーをディスパッチャに送信する133。ファイルが悪意のないものとして見出された場合、通知をディスパッチャに送信し133、既知の正当なUIDのリストを更新する。解析過程において、DINが追加のファイルタイプまたは別々の解析を必要とする難読化スキームを見出した場合、DINは、追加処理を必要とするファイルの一部サブコンポーネントのUIDを作成する。次いで、DINは、既知の不正な/既知の正当なサブコンポーネントUIDのローカルキャッシュへのクエリを行う125。ローカルキャッシュにエントリがなければ、集中データベースへの同じクエリを行う。サブコンポーネントが不正であるとして判断されれば、DINは、警告通知をディスパッチャに提供する129。UIDが正当であるとして判断されれば、DINは、そのサブコンポーネントを無視し、処理を継続する。UIDが未知のものであれば、DINは、追加処理のための要求をディスパッチャに送信する。ディスパッチャは、そのファイルタイプまたは難読化スキームおよび新しいDINへのサブコンポーネントデータの送信を認可するトークンを専門に取り扱うDINの位置を返す。また、ディスパッチャは、トークンが有効であることも新しいDINに通知する。次いで、DINは、新しいDINにサブコンポーネントを渡す。DINは、ちょうどファイルである場合に処理されるように、サブコンポーネントを処理する。評価を必要とする別のサブコンポーネントが見出される場合は、必要に応じて、DINは、追加処理を要求することができる。サブコンポーネントが正当であるとして判断されれば、DINは、UIDが正当であることをディスパッチャに通知する。サブコンポーネントが不正であれば、DINは、ディスパッチャに通知し、すべてのサブコンポーネントを提供する。次いで、DINは、そのローカルキャッシュを更新する。発信元のDINもまた、そのキャッシュを更新するよう通知を受ける。エクスプロイトの検出DINに加えて、さまざまなドキュメントタイプから解析されたテキストデータへのクエリに対して情報漏えい防止DLPナゲットが利用可能である。このプロセッサは、可能なDLPイベントを検出するため、パターン認識を有するデータブロックおよびデータブロックのUIDを調べる。ファイル解析が完了するまでこのプロセスを継続する。ディスパッチャ107は、ファイルおよびサブコンポーネントの解析要求109に対する未処理の要求について常に認識し得る。処理中、ファイルが不正であるという通知を受ければ、ディスパッチャは、送信元のSnortセンサに警告を戻し115、ファイルおよび必要に応じてサブコンポーネントUIDに既知の不正なものとして印を付けることができる111。ディスパッチャは、ファイルの解析に関与するさまざまなDINから追加の情報を受信するため、送信元のセンサ101に追加の警告を継続して提供することができる117。すべてのトークンを取り扱った後で、いかなる悪意のあるインジケータも存在しなければ、ファイルのUIDは、既知の不正なものとして印を付けられる105。悪意のあるものとして印を付けられたファイル上では113、一旦すべてのトークンを取り扱えば、Snortにおける標準ロギングの外部のディスパッチャは、改善された一連の報告を行うことができる115。この追加のロギングは、悪意のあるものとして判断されたファイルまたはサブコンポーネントのエリアの完全に減圧された正規表現を提供する。さらに、科学捜査における評価のため、ファイルおよび必要に応じてサブコンポーネントをすべてディスクに書き込むことができる。既知の正当なファイルに対するUIDは関連メタデータとともに格納されるため、および、他の送信元からUIDへの後続のアクセスはそれぞれ格納されるため、システムは、ファイルが正当であると印を付けられた後も警告することができる。システムの任意の部分において検出更新が存在する場合は常に、すべての既知の正当なエントリを汚染として印を付けることができる。そのファイルが再び見出されれば、新しい検出能力が追加された後はファイルの状態が未証明であるため、ディスパッチャは、UIDチェックに対して否定的に応答する。次いで、ファイルは、システムによって処理される。再びチェックされているファイルが正当であると見出された場合、UIDエントリ上の汚染フラグは取り除かれ、今後のDBクエリは既知の正当なものとして応答される。しかし、ファイルが不正であると見出された場合、システムは、通常通り警告を出し、ログを取る。さらに、システムは、ファイルを受信したとしてDBに記載される互いのシステムに警告を出す。このように、検出が進展するにつれて、システムを使用して、潜在的な攻撃および望ましい改善について対応チームに遡及的に通知することができる。また、システムはサブコンポーネントも管理するため、他のファイルにも警告を発することができる。例えば、システムが特定のイメージファイルを悪意のあるものと判断し、他の種のドキュメントにおいてそのファイルを検出すれば、すべての関連ドキュメントは悪意のあるものとして印を付けられ127、悪意のあるファイルを含むドキュメントのいずれかにアクセスしたすべてのホストに対して警告を発する129。更新用のシステムは拡張可能であり、したがって、NRT準リアルタイム検出においてピギーバックを望む他のシステムはAPIを利用することができる。例えば、Snortセンサは、NRTクライアント専用として構成することができ、唯一ローカルキャッシュおよび既知の不正な送信元情報に対する集中DBへのクエリを管理することができる。このように、管理者は、取り出すファイルのオーバーヘッドを招かないように選択することができるが、依然としてURL、メールヘッダおよび同様のものに関する警告を出すことができる。また、SnortとClamAV例示的なIDSまたはIPSとしての両方とも、ディスパッチャによるカスタム作成のルールを受け入れることができ、それらのルールをイベントのリアルタイム検出に対して使用することができ、その結果、後続のファイルのエクスプロイトの送達前にブロッキングが起こり得る。この機能性は、NRTシステムへの警告の重大性に基づいて送達されるよう設定することができる例えば、通知/不審な/エクスプロイトのインジケータ/既知の攻撃。また、メタデータの統合構造およびファイルデータへの簡単なポインタ/サイズを提供するという点において、ナゲットシステムも拡張可能である。検出システムは、単に構造およびデータの受信を管理し、サブコンポーネント処理への参加を希望するかどうか判断するだけでよい。検出エンジンが検査できるコンポーネントのタイプを示すナゲットとして登録するためのAPIを提供することができる。多重の非重複検出は、ディスパッチャが2つ以上のDINタイプにファイルを送信する必要があることを知ることができるようにユニークな検出タイプのフラグが設定される特定のファイルタイプ例えば、複数のAVシステムに対して利用可能である。SnortIDSシステムは概念実証に具体的に使用されたが、APIを使用して、ディスパッチャへのクエリを行い、DINファームにファイルを送達することができるいかなるシステムもこのシステムに参加できる。これは、ネットワークベースのシステムに制限されない。システムが使用できる形式でデータを見つけることができるいかなるシステムも、API呼び出しを通じてシステムに参加できる。一例として、科学捜査システムは、初期の評価のため、不審なファイルをシステムに提出する場合がある。ネットワーク科学捜査システムは、ファイルをキャプチャし、評価のため、Snortとは無関係なシステムにファイルを提供する場合がある。必要とされるのは、提出、送信および警告の取り扱いのためのAPIの使用であり得る。以下に列挙されるセクションは、概念実証POCに対してSnortIDSシステムを使用する3つの異なる例示的な実施形態の詳細を提供する。以下のセクションでは、図2、図3および図4を参照し、それぞれ、NRTフェーズ1のPOC、NRTフェーズ2のPOCおよびNRTフェーズ3に対して実装することが提案されるアーキテクチャを示す機能フロー図である。図2は、第1の実施形態を示し、図3には、図2には存在しないディスパッチャ、関連フローおよび機能性が追加され、図4は、図3の変形例であり、最適化のためのいくつかの追加のフローおよび機能性を伴う。1.目次2.概要2.1要約2.2適用範囲2.3仮定と主張2.3.1仮定2.3.2主張2.4一般要件2.4.1NRTSnortプリプロセッサ2.4.2NRTDLIBプロセス2.4.3NRTディスパッチャ2.4.4徹底検査ナゲット3.使用事例3.1単一のサーバインストール3.2複数のサーバインストール4.オペレーションの概念4.1構成4.2Snort統合警告4.3NRT特有の警告5.機能設計5.1POC設計5.2代替の実施形態6.実施問題6.1テンプレート言語6.2Snort統合6.3ルール言語7.テスト事例7.1POCフェーズ17.2POCフェーズ28.自動化されたテスト2.概要準リアルタイム検出NRTは、Snort検出エンジンを使用してファイル形式攻撃に対して検出を提供するという困難への脆弱性研究チームのさまざまなメンバーによる広範囲の研究の結果である。高度で執拗な脅威APTとして説明されるアクタと、Metasploit、CANVASおよびCoreImpactなどの公的に利用可能なエクスプロイトフレームワークの両方によって現在実証される精巧レベルは、VRTに、検出を提供するための選択の余地をほとんど残さない。この困難を悪化させるのは、ワイヤスピードで低待機時間分析を行うという顧客の願望である。ASCII16進デコード、JAVA登録商標Script難読化、PDFオブジェクトデフレーションおよび攻撃者が利用可能な無数の他の技法の取り扱いに必要な処理のため、システムは、単にシステムが悪意のあるデータに対しドキュメントを分析できるほどにドキュメントを正規化するのに利用可能な時間がないだけである。NRTは、選択されたファイルタイプを通信ケーブルから取り出し、ローカルボックス上またはリモートボックス上の追加の検出エンジンに渡すことによって、この問題を取り扱う。これらの検出エンジンは、検出エンジンの有用性および検出エンジンによって取り扱われるファイルのタイプを取り扱うディスパッチャプロセスによって管理される。次いで、これらのエンジンは、伝統的なSnortプロセスを通じて警告するためSnortに警告情報を戻し、大量のデータブロックおよび情報をエンドユーザに提供することを可能にするNRTシステムに特有の警告システムも提供する。2.1要約これは、NRTシステムのための予想されるシステムアーキテクチャ、使用事例および設計目標について概説する。2.2適用範囲NRTは、最初に、以下のファイルタイプおよびコンポーネントのために実施される。BIFFOfficeドキュメント可能なPOCフェーズ3X-classOfficeドキュメント可能なPOCフェーズ3PDFドキュメントPOCフェーズ1SWFドキュメント可能なPOCフェーズ3PE実行可能ファイル可能なPOCフェーズ2HTMLドキュメント可能なPOCフェーズ3JAVA登録商標Script可能なPOCフェーズ3VBScript可能なPOCフェーズ3初期の実施は以下を取り扱う。NRTSnortプリプロセッサ関与センサParticipantSensors能動的にファイルを供給するものクライアントセンサMD5データベースへのクエリを行うもの可能なPOCフェーズ3徹底検査ナゲットNRTディスパッチャPOCフェーズ22.3仮定と主張2.3.1仮定NRTシステムは、顧客が、ファイルベースの検出問題に挑戦するためのはるかにロバストな検出システムと引き換えに、警告の遅延およびアクティブブロッキングの欠如IPSを容認すると仮定する。2.3.2主張主張n:実証的陳述または表明。支持も理由もない場合が多い。適用せず。2.4一般要件2.4.1NRTSnortプリプロセッサ例えば、利用可能なSnortシステムである、例えば、侵入検知/防止IDS/IPSプロセッサ201を示す図2を参照する。この例では、IDS/IPS201は、デコーダ203、FRAG3205およびStream5207に対する機能性を含み、これらすべては公知であり、通信ケーブル上のトラフィックを評価するために容易に利用可能であり、そして、準リアルタイムプリプロセッサ209を含む。Snortプリプロセッサ209は、通信ケーブルから選択されたファイルタイプを取り出して取り扱うタスクが課される。最初は、プリプロセッサ209は、Eメールとhttpトラフィックのみからファイルを取り出す。一旦通信ケーブルからファイルを取り出すことに成功すれば、プリプロセッサは以下を実行する。適切なメタデータURL/SMTPを伴うクエリをDLIBプロセス211に渡し、ローカルキャッシュ213、217をチェックする。それに失格となった場合は、MD5を計算して、メモリ内のファイルへのポインタとともにDLIBプロセス211へ渡す。ストリームがSnortから不要なリソースを取り出さないように、Snortへ処理しないとストリームに印を付ける。プリプロセッサ209は、分析結果に関する情報をディスパッチャ例えば、図3、333から受信し、Snortに警告し、必要に応じて、MD5テーブル215へのエントリを作成する。NRTSnortプリプロセッサの設計目標は、Snortへの侵入を最小限に抑えることである。追加検出が強制されれば直ちに、データをSnortプロセスの外に出し、スレッドを開けたままリターンデータのみを取り扱う。2.4.2NRTDLIBプロセスDLIBプロセス図2、図3および図4で示される211、317、417は、プリプロセッサ209、309、409とNRTシステムの残りの部分との仲介者である。DLIBプロセス211、317、417は、URL217、315、415およびMD5合計データ215、313、413のローカルキャッシュ213、311、411を維持し、トークンを管理して、さまざまなDIN221、319、419へファイルを分配する。具体的には、DLIBプロセスは以下を実行する。httpファイルの要求があれば、既知の不正なURL217、315、415をチェックし、エントリがある場合はリターントラフィックをブロックする。Snortに警告し、その警告についてディスパッチャに通知する。以前分析されたファイルを表す一連のMD5215、313、413に対してファイルMD5合計をチェックする。MD5が一致すれば、データをプリプロセッサに返し、警告としてSnortに渡し、その警告についてディスパッチャに通知する。図3および図5を参照する。ディスパッチャ331、433上のMD5およびURLデータベース341、343、443、445集合的に、ディスパッチャデータベース339、441へのクエリを行う。ディスパッチャがデータベース339、441にエントリを有する場合は、DLIBプロセス317、417がプリプロセッサ309、409に必要に応じて警告するかまたは検出を終了するように通知することを可能にする十分な情報を返す。ディスパッチャは、いかなる警告も、データベースに入力するNRTロギング335、437。MD5チェックで失格となった場合は、DLIBプロセスは、特定のDINにファイルを渡すという命令を含むトークンを受信する。一旦ファイルがDINに渡されれば、DLIBプロセスは、ディスパッチャを介して渡される結果を待つ。一旦DLIBプロセスがこの情報を受信すれば、DLIBプロセスは、ローカルキャッシュエントリ213、311、411を更新し、NRTプリプロセッサに警告情報を戻す。センサは、NRTシステムを2つの異なる方法で使用するよう構成することができる。NRTシステムへ能動的にファイルを提供するセンサは、関与センサとして知られている。クライアントセンサは、既知の不正なURLおよびMD5合計のローカルキャッシュを維持し、キャッシュエラーの場合に中央データベースへのクエリを行うようディスパッチャと連絡を取る。しかし、クライアントセンサは、分析のためにNRTシステムにファイルを渡すことはしない。2.4.3NRTディスパッチャNRTディスパッチャ331、433図3、図4で示されるは、NRTシステムを管理するプロセスである。NRTディスパッチャは、センサと徹底検査ナゲットDINここでは、1つのDIN221、319、419によって表されるとの間でファイルを渡し、MD5およびURLデータベース341、343、443、445を維持し、NRT特有の警告335、437を提供し、DIN間で正規化データのコンポーネント断片を渡すことに対する責任を有する。具体的には、NRTディスパッチャ331、433は以下を実行する。クライアントセンサからのクエリに応答する333、435。失敗したクエリに対し、センサがDIN319、419にファイルを転送することができるように、センサへ認可トークンを渡す。以前分析されたファイルおよびファイルサブコンポーネントのMD5合計ならびにその分析結果のデータベース341、443を維持する。既知の不正なおよび既知の正当なMD5に対するインポート機能を利用可能にする。ナゲットファームNuggetFarmでDINのリストを維持する。このリストは、利用可能な検出スレッドのDIN別のリスト、DINのファイル特殊化およびDINの以前の性能の測定基準を含む。ディスパッチャは、DINが見出されたファイル測定基準に基づいて異なるファイル特殊化に再度割り当てられるよう要求する。ディスパッチャは、NRTプリプロセッサが、警告し、必要ならば既知の不正なURLリストを更新し、ローカルのMD5リストを更新することができるように、情報を関与センサに戻す。ディスパッチャは、NRTシステムのカスタム警告機能性335、437を取り扱う。2.4.4徹底検査ナゲット徹底検査ナゲット図2、図3、図4に示される221、319、419は、実際の検出を取り扱う個別のプロセスである。それぞれのDINプロセスは、特定の異なるファイルタイプまたはコンポーネントタイプ専用である。各DINは、ファイルタイプについて記載するテンプレート言語ファイルおよびそのファイルタイプ用の検出セットのコピーを有する。次いで、DINプロセスは、ディスパッチャに登録して受信ファイルを待つ。ファイルを受信すると321、421、DINは以下を実行する。供給されたテンプレートを使用してファイルを解析する223、321、423。必要に応じて、ファイルのサブセクションを正規化する223、321、423。ナゲットファームが取り扱う埋め込みファイルまたはコンポーネントが解析中に発見されれば、さらなる処理のため、そのファイルまたはコンポーネントをディスパッチャに戻す。正規化データに対してファイル特有の検出ルールセット425を適用する223、323、427。正規化データに対して包括的探索およびXORオペレーションを適用する225、325、429。例えば、ディスパッチャ337、439に調査結果を返す227、229、231、327、329、431。3.使用事例2つの使用事例、すなわち、Snort/NRTシステムの単一のサーバインストール、ならびに、専用の参加者およびクライアントセンサおよびナゲットファームに集結された一連のサーバからなる大規模なインストールについて論考される。3.1単一のサーバインストール単一のサーバインストールは、オープンソースユーザに対して最も可能性が高い一般的なインストールである。このインストールは、関与サーバとして機能する単一のSnortプロセス、ならびに、ディスパッチャとナゲットファームの個別のDINに対する別々のプロセスからなる。ファイルは、共有メモリ空間をマッピングし、その空間へのポインタをセンサプロセスからディスパッチャへおよびディスパッチャから適切なDINへ渡すことによって渡される。このインストールは、予算が制約される小規模な組織、地方の支社またはそれらのセキュリティオペレーショングループに適している。3.2複数のサーバインストール複数のサーバインストールは、大きなパイプに対してサポートされるファイルタイプの徹底検査を希望するか、または、集中ナゲットファームでいくつかの小さなパイプを取り扱うことを望む組織によって使用され得る。この場合、ディスパッチャおよび徹底検査ナゲットプロセスは、1つまたは複数の別々のサーバ上にある。さらに、ディスパッチャの機能性に対するサポートデータベースもまた、別々のサーバ上に存在し得る。これらの場合では、オペレーションは、プロセス間通信とは対照的に、ネットワーク上のサーバ間で情報を転送する必要性によってのみ複雑となる。顧客は、これに対する適切な設定が、NRTシステムのセキュリティのわずかな増加を提供するためのプライベートのルーティングされていないネットワークであるという忠告を受ける。警告は適宜、個別のSnortセンサに渡され、ディスパッチャは、NRTシステムの追加報告を取り扱う。4.オペレーションの概念構成、NRT特有の警告およびSnort統合警告は、ユーザがシステムと統合する主要な手段であり得る。4.1構成構成が発生し得る場所は3つある。1NRTプリプロセッサ以下を定義する。プリプロセッサの役割[クライアント、参加者]ディスパッチャのIP取り出すファイルタイプローカルURLリストの最大サイズローカルMD5リストの最大サイズ2ディスパッチャ以下を定義する。データベース位置ナゲットファームIPアドレスURLリストキャッシュの最大サイズMD5リストキャッシュの最大サイズ3徹底検査ナゲットディスパッチャIPアドレスを定義する。また、以下も定義できる。スレッドの最大数サポートされるファイルタイプ4.2Snort統合警告Snort統合警告は、現行のSnort警告方法と完全に互換性を有するよう設計される。ディスパッチャは、リターンプロセスの一部として、どのデータを警告内に含めるべきか決定し、場合により、正規化データをパケットデータの形で戻すことを含む。追加情報については、未解決の問題6.2を参照されたい。4.3NRT特有の警告NRTシステムは、悪意のあるファイルに関する完全な報告を可能にする警告システムを実装することができる。これは、警告をトリガしたファイルの正規化されたセクションその全体を含み得る。例えば、圧縮されたJAVA登録商標Scriptセクションが警告をトリガすれば、拡張され難読化が解除されたスクリプトを警告ブロックに渡すことができる。5.機能設計機能設計セクションで見られる可能性があるものの要約を以下に示す。5.1POC設計システムアーキテクチャについてセクション2で説明されている。追加情報については、3つのPOCフェーズそれぞれでシステムを図解するNRT-POC-PHASESドキュメント図2~図4を参照されたい。5.2代替の実施形態代替の実施形態は以下の1つまたは複数を実施することができる。検疫プロセスMD5データをセンサに押し出す。受信したファイルの統計分析を反映させるため、ナゲットファームにおいてDINを再度割り当てる。6.実施問題実施問題は以下を含む。6.1テンプレート言語テンプレート言語は、Cよりもむしろ、スクリプト言語によってより容易に対処することができる。6.2Snort統合理想的なシステムは、できる限り多くの情報を戻すが、Snortにおけるプリプロセッサの警告に対する実用上の制限がある場合がある。6.3ルール言語Snortルール言語の一部は、Snortルール言語に精通している者によって理解されるように、NRTシステムに変更/移植することができる。しかし、ファイル形式特有の動詞を有する新しい言語を作成してNRTシステムをサポートすることができる。7.テスト事例以下のテスト事例は、予想される結果の一般的な概要を提供する。7.1POCフェーズ1説明:ローカル分析および警告を伴うPDFHTTPキャプチャPOCフェーズ1については図2を参照手順-以下の順番で行う。1Snort201において、ライブHTTPデータストリームにおいて悪意のあるPDFをキャプチャする。ローカルのDLIB211にそのPDFを渡す。DLIBは、キャッシュチェック219で失格となれば、ローカルのDIN221にPDFを渡す。警告を取り扱う229、231。2Snort201において、再度、ライブHTTPデータストリームにおいて同じURLを介して同じ悪意のあるPDFをキャプチャする。ローカルのDLIB211にそのURLを渡す。DLIBは、URLキャッシュエントリ217に基づいて警告を返す。3Snort201において、再度、ライブHTTPデータストリームにおいて異なるURLを介して同じ悪意のあるPDFをキャプチャする。ローカルのDLIB211にそのPDFを渡す。DLIBは、MD5キャッシュエントリ215により警告する。予想される結果ファイルは3回警告するはずである。初期の分析から1回、URLキャッシュに対して1回およびMD5キャッシュを介して1回。7.2POCフェーズ2説明リモート分析および警告を伴うPDFHTTPキャプチャPOCフェーズ2については図3を参照手順-以下の順番で行う。1そのPDFをローカルのDLIB317に渡す例えば、Snort301ではNRT309から。DLIB317は、キャッシュチェック311で失格となれば、ディスパッチャ331へのクエリを行う。ディスパッチャ331は、DBチェック339で失格となれば、トークンをDLIBに返す。DLIB317は、適切なDIN319にファイルを渡す。DIN317は、ディスパッチャ331に警告し、ディスパッチャ331は、警告をDLIB317に渡し、NRTの詳細なロギング335を取り扱う。DLIB317は、Snort301に警告を提供する。2DLIBプロセス317をリセットするキャッシュ311をクリアする。Snort301において、ライブHTTPデータストリームを介して同じURLから同じ悪意のあるPDFをキャプチャする。ローカルのDLIB317にそのPDFを渡す。DLIB317は、キャッシュチェック311で失格となれば、ディスパッチャ331へのクエリを行う。ディスパッチャ331は、URLDB343内でのエントリの存在のため警告に応答する333。DLIB317は、キャッシュ311、315を更新し、Snort301に警告を提供する。3Snort301において、ライブHTTPデータストリームを介して同じURLから同じ悪意のあるPDFをキャプチャする。ローカルのDLIB317にそのPDFを渡す。DLIB317は、ローカルのURLキャッシュ315内でのエントリの存在のため警告する。4DLIBプロセス317をリセットするキャッシュ311をクリアする。Snort301において、ライブHTTPデータストリームを介して異なるURLから同じ悪意のあるPDFをキャプチャする。ローカルのDLIB317にそのPDFを渡す。DLIB317は、キャッシュチェック311で失格となれば、ディスパッチャ331へのクエリを行う。ディスパッチャ331は、MD5DB341内でのエントリの存在のため警告に応答する333。DLIB317は、キャッシュ311、313を更新し、Snort301に警告を提供する。5Snort301において、ライブHTTPデータストリームを介して第3のURLから同じ悪意のあるPDFをキャプチャする。ローカルのDLIB317にそのPDFを渡す。DLIB317は、ローカルのMD5キャッシュ313内でのエントリの存在のため警告する。予想される結果警告は5回起こるはずである。初期の警告、グローバルのURLDB343上の警告、ローカルのURLキャッシュ315上の警告、グローバルのMD5DB341上の警告および最終的にローカルのMD5キャッシュ313上の警告。上記で説明されるシステム、方法およびコンピュータ可読媒体は、以下の1つまたは複数を実現する。ファイルへのサブコンポーネントのUID合計トラッキング特定の攻撃トリガ条件を標的とする完全なファイル解析クライアント側のAVシステムを管理するためのオーバーヘッドなしでの検出を可能にする、ネットワークトラフィックから取り出された完全なファイルに基づくファイルベースの検出ファイルを検査するための拡張可能な分配された方法埋め込みファイルおよびファイル解析によって決定された難しい検出問題に基づく再分配された検出単一ファイルの複数のシステム評価ベンダによって提供されるものとは対照的に、検出能力に基づいて正当であるまたは不正であるとして判断されたUIDの集中データベース既存のおよびカスタム開発された検出システムをNRT警告構造にプラグインすることができる拡張可能な検出ナゲットシステム検出能力を利用して新しいおよび既存のリアルタイム検出システムを更新するための拡張可能な警告システム完全なファイルUIDとサブコンポーネントUIDの両方に基づく遡及警告ここで、前述の代替の実施形態を提供する検出ルーティングにより検出を統合するためのシステムおよび方法に関連して、図5および図6について一緒に論考する。任意のデータのタグ付けと任意のシステムからの対象の宣言の両方ならびに対象とするシステムへのそのデータのルーティングを確実にするためのメカニズムを可能にするシステムの公知の均等物は現在存在しない。標準のネットワーク環境では、データはキャプチャ位置で分析される例えば、アンチウイルスはメールゲートウェイに取り付けられる。これにより、検出はそのシステムのみに制限され、他の検出システムがデータを評価する機会は差し控えられる。これにより、複数のシステムが既にチェックされたデータを評価するため、両方で作業が繰り返されることになる。また、これにより、個別のシステムに到達しないデータは評価されないため、システムの全体的な能力が低減される。以下で説明される実施形態は、データキャプチャとデータ分析機能を切り離すことができ、ネットワークのいずれの場所で得られたデータも、すべての検出システムに転送することを可能にする。この手法により、複数の全く異なる検出システムを単一セットの検出に一まとめにすることができる。これにより、検出の有効性および検出システムへの投資に対するROIを支援することができる。この実施形態では、ディスパッチャは、上記で論考される通りのものであり、また、対象とする検出システムのテーブルを維持することも、以前評価されたデータのリストを維持することも行う。ディスパッチャは、ユニバーサル一意識別子UUIDによってデータを追跡することができ、およそ3×1038種のユニークなデータタイプを表明することが可能になる。これにより、システムは、無制限の数のデータタイプを表明し、維持することができる。ここで図5を参照すると、例示的なUUIDテーブルが論考され、説明される。システムによって知られるUUIDは、テーブル、例えば、公知のUUIDテーブル501で維持することができる。グローバルグローバルという列505として印を付けられるUIDUIDという列503は、全体のシステムの一部として提供されていること、および、システムのすべての実装にわたってユニークであることを示す。グローバルと印を付けられないUIDは、個人企業にユニークであり、システムユーザ全体が利用できるものではない。UIDのこのシステムは、企業特有の検出の必要性に重要な伸展性を提供する。起動時、それぞれの検出コンポーネントは、ディスパッチャに登録することができる。この登録プロセスの一部として、検出コンポーネントDIN319、419などは、UUIDによって、対象とするデータの種類を表明することができる。次いで、ディスパッチャは、例えば、図6で示されるように、検出ルーティングテーブルを設定する。ここで図6を参照すると、検出ルーティングテーブルを示すブロック図が論考され、説明される。検出ルーティングテーブルは、任意の所定のデータタイプ601に対して、それぞれのタイプの検出コンポーネントの1つ図6では、検出エンジンタイプ603、607、611を、同データタイプに連結し、そのデータブロックを評価する機会が得られることを確実にする。検出エンジンタイプ603、607、611はそれぞれ異なり得る。さらに、テーブルは、所定のタイプの検出コンポーネント603、607、611に対して利用可能なリソース例えば、異なるシステム605、609、613に対して利用可能なスレッドの数を把握して維持し、ディスパッチャが追加のコンポーネントにオンラインさせるかまたは既存のコンポーネントを新しいタイプに変換させるよう指示することを可能にする。図6では、検出ルーティングテーブルには1つのデータタイプ601のみが示されるが、それは、その中の複数の異なるデータタイプ601の一例であり、その各々はそれ自体の検出エンジンタイプツリーを伴う。データコレクタは、適切にデータをキャプチャしてそれにタグ付けをするのに十分な知能を有することができる。一旦データコレクタがデータをキャプチャすれば、データコレクタは、そのデータブロックを一意に識別する一連のデータを送信し、それが以前に評価されているかどうかチェックすることができる。データが以前に評価されていれば、検出システムに影響を与えずに、データは破棄される。データが以前に評価されていなければ、ディスパッチャは、検出ルーティングテーブルとデータタイプを比較し、そのデータのコピーの1つがそのデータを対象とすると宣言した各種の検出コンポーネントに到達することを確実にする。例えば、アンチウイルスシステムは、PDFファイルを対象とすると宣言するシステムへのフロントエンドを有する場合がある図5の説明という列507のように005d5464-7a44-4907-af57-4db08a61e13cとしてグローバルに識別される。また、カスタム組立のPDF分析器をシステムに結合させることもできる。最終的に、さらなる実施形態として、サンドボックスシステムをシステムに結合することができる。サンドボックスは公知の技法である。例えば、システムがオンラインする際かまたはその後で、システムは、PDFファイルを対象とすることをディスパッチャに登録し、検出に利用可能なリソースおよび送信すべきIP/ポート組合せデータに関する説明をディスパッチャに提供することができる。次いで、ディスパッチャは、3つのタイプの検出コンポーネントのそれぞれに対するエントリを伴うPDFファイルに対するディフェンスルーティングテーブル本明細書ではデータルーティングテーブルと呼ばれる場合があるを構築する。データコレクタがPDFファイルをキャプチャすると、データコレクタは、そのファイルに対して1つまたは複数のアルゴリズムを実行し、そのUIDを一意に識別することができる。次いで、データコレクタは、その情報をPDFファイルUIDとともにディスパッチャに送信し、そのデータタイプを表明することができる。ディスパッチャが以前にデータを見出していれば、システムはデータを破棄する。以前にデータを見出していなければ、ディスパッチャは、提供されたデータタイプUIDをルーティングテーブルに対して評価し、そのデータが1つまたは複数のタイプの検出エンジンの一インスタンスAV、カスタム分析器およびサンドボックスに到達することを確実にする。上記で説明されるシステム、方法およびコンピュータ可読媒体は、以下の1つまたは複数の組合せを実現する。データキャプチャとデータ評価システムを切り離す検出システム、方法、装置および/または非一時的なコンピュータ可読媒体。単一のデータ入力の分析に利用可能な検出能力のアレイを実現する検出システム、方法、装置および/または非一時的なコンピュータ可読媒体。検出コンポーネントが取り扱えるデータのタイプに関するそれらの検出コンポーネントからのデータに基づいて、検出能力のアレイから検出コンポーネントのサブセットへそのデータをルーティングすることによって、公知のデータタイプ識別子でタグ付けされた任意のデータを取り扱うことができる、前述に記載されるようなシステム、方法、装置および/または非一時的なコンピュータ可読媒体と接続されるルーティングメカニズム。それぞれのコンポーネントタイプの単一のシステムのみが任意の所定のデータ断片を評価することを確実にし、任意のデータのユニークな断片はたった1度だけ評価されるシステムを提供することによって、不要な順次処理を低減することができる、前述のシステム、方法、装置および/または非一時的なコンピュータ可読媒体。ここで図7を参照すると、第1の実施形態によるファイル分析に関連する簡略化された代表的な環境を示す図が論考され、説明される。図では、送信元701コンピュータシステムなどは送信信号を送信先709に送信する。送信は、ファイル例えばFTPファイルの転送またはEメールへの添付または同様のものを含み得る。この例では、送信信号は、ネットワーク703、ルータ705およびファイアウォール707を介して送信先709に送信される。送信先709への通信および送信先709からの通信は、センサを備えたものなど、侵入検知/防止システムIDS/IPS713によって、周知の技法に従ってモニタすることができる。この図では、IDS/IPSはファイアウォール707の後方に設けられるが、IDS/IPSは、送信先709の前のいずれの場所にも設けることができる。あるいは、侵入検知/防止システム713は、送信先709と一直線上に設けるか、または、送信先709に組み込むことができる。あるいは、ファイルでの送信は、逆の経路をたどる、すなわち、この図において送信先709とラベル付けされたコンピュータシステムから送信することができる。示される攻撃検出システム711は、NRTでのIDS/IPS713、DLIB715、ディスパッチャ719および複数の徹底検査ナゲットを備えたナゲットファーム717を含み、すべてが例えば、図1~図4に関連して上記で詳細に論考される通りである。好都合には、DLIB、ディスパッチャおよびナゲットファーム713、715、717、719は、IDS/IPSと同じプロセッサ上にまたはIDS/IPSとは分配されたプロセッサとして、すなわち、送信先が受信する前にデータを処理するために提供することができる。ここで図8を参照すると、第1の実施形態による例示的なコンピュータシステムの一部を示すブロック図図2~図4を含むが論考され、説明される。本明細書でシステムと呼ばれる場合があるコンピュータシステム801は、1つまたは複数のコントローラ805を含み得、コントローラ805は、センサ803から信号を受信することができ、センサ803は、公知の技法に従ってネットワーク835から通信を検知し、そこでは、通信は対象図示せずに送信される。コントローラ805は、プロセッサ807、メモリ813、任意選択のディスプレイ809および/またはキーボード811などの任意選択のユーザ入力装置を含み得る。プロセッサ807プロセッサ装置と呼ばれる場合もあるは、1つもしくは複数のマイクロプロセッサおよび/または1つもしくは複数のデジタル信号プロセッサを含み得る。メモリ813は、プロセッサ807と結合され得、読み取り専用メモリROM、ランダムアクセスメモリRAM、プログラマブルROMPROMおよび/または電気的消去可能な読み取り専用メモリEEPROMを含み得る。メモリ813は、特に、プロセッサ807によって実行されるプログラムに対するオペレーティングシステム、データおよび変数815を格納するための複数のメモリ位置と、プロセッサにさまざまな機能に関連して動作させる、例えば、コンピュータファイルを伴うネットワークトラフィックを受信する817、コンピュータファイルが正当なUIDとして示されるかまたは不正なUIDとして示されるか判断する819、UIDが記憶領域内に存在しない場合にファイルタイプ特有の検出ナゲットを呼び出す821、UIDとともにファイルが正当であるか不正であるかについての検出ナゲットからの結果を格納する823、ファイルのUIDが正当であると示される場合に検出ナゲットをスキップする825、ファイルのUIDが不正であると示される場合に検出ナゲットをスキップして警告を発する827、悪意のあるまたは不正なファイルを検出するための複数の異なるファイルタイプ特有の検出ナゲット829、831および/または他の処理などのコンピュータプログラムと、UIDおよび正当/不正インジケータ835ならびにURLリスト837に対するローカルキャッシュやUIDおよび正当/不正インジケータ839ならびにURLリスト841に対するディスパッチャキャッシュと、プロセッサ807によって使用される他のさまざまな情報に対するデータベース833とを含み得る。コンピュータプログラムは、例えば、ROMまたはPROMに格納することができ、コンピュータシステム801のオペレーションの制御においてプロセッサ807に指示することができる。プログラムについては以下で概観するが、他で論考される詳細については、必ずしもここで繰り返されるわけではない。プロセッサ807は、場合により、コンピュータファイルを含むネットワークトラフィックを受信する817ためにプログラムされ得る。示される例では、ネットワークトラフィックパケットなどは、コンピュータシステム801に接続されたセンサ803で検出され、公知の技法に従ってコンピュータシステム801に供給される。受信されたネットワークトラフィックは、任意のさまざまな公知の技法に従って、それとともにファイルおよびファイルとして検出されたものを運ぶ。プロセッサ807は、例えば、最初にUIDおよび正当/不正インジケータ835のローカルキャッシュを参照することによって、コンピュータファイルが正当なUIDとして示されるかまたは不正なUIDとして示されるか判断する819ためにプログラムされ得る。ディスパッチャキャッシュは、恐らくは、ネットワーク全体を通して、ローカルおよびリモートコンピュータに対するディスパッチャによって維持されるUIDおよび正当/不正インジケータを含む。ローカルキャッシュがUIDを含まない場合はファイルは以前にローカルで検査されておらず、したがって、ファイルが正当であるか不正であるか不明であることを意味する、この判断のため、UIDおよび正当/不正インジケータ839のディスパッチャキャッシュを参照することができる。UID839のディスパッチャキャッシュがUIDを含まない場合は、ファイルは以前にローカルでもリモートでも検査されておらず、不明であることを意味する。また、先に論考された通り、プロセッサ807は、ローカルキャッシュのURLリスト837にアクセスしてファイルが発生したURLが悪意のあるものとしてローカルで知られているかどうか判断し、次いで、ディスパッチャキャッシュのURLリスト841にアクセスしてファイルが発生したURLが悪意のあるものとしてディスパッチャに知られているかどうか判断するようにプログラムされ得る。プロセッサ807は、UIDが記憶領域内に存在せずまたは他で説明されるように汚染として示される、したがって、以前に検査されていない場合またはそれ以降に更新された検出ナゲットによって汚染が検査された場合にファイルタイプ特有の検出ナゲットを呼び出す821ためにプログラムされ得る。そのファイルのファイルタイプは、公知の技法に従って決定することができる。そのファイルのファイルタイプに対応するファイルタイプ特有の検出ナゲットA、B827、829は、汚染されたまたは以前に検査されていないファイルをさらに処理するために呼び出すことができる。検出ナゲットについては、他でより詳細に論考される。プロセッサ807は、ローカルキャッシュおよびディスパッチャキャッシュのUIDおよび正当/不正インジケータ835、839において、UIDとともにファイルが正当であるか不正であるかについての検出ナゲットからの結果を格納する823ためにプログラムされ得る。したがって、それ以降にファイルを受信した場合は、ファイルを検査する必要はないが、正当/不正インジケータによって正当なファイルまたは悪意のあるファイルとして取り扱われ得る。ちなみに、URL自体が悪意のあるものであるという情報を受信すると、ローカルキャッシュおよびディスパッチャキャッシュのURLリスト837、841は更新され、URLは悪意のあるものとしてリストされる。したがって、URLリスト837、841内のURLからファイルが受信されれば、悪意のあるファイルとして取り扱われ得る。プロセッサ807は、ファイルのUIDが正当であると示される場合に検出ナゲットをスキップする825ためにプログラムされ得る。既に正当であるとして知られているファイルを検査する必要はなく、次へ回しても安全なはずである。プロセッサ807は、ファイルのUIDが不正であると示される場合に検出ナゲットをスキップして警告を発する827ためにプログラムされ得る。既に不正であるとして知られているファイルを検査する必要はなく、その送信先に到達しないようにファイルをドロップして、ファイル、ファイルの詳細およびコンテンツのロギングおよび報告のため警告を発することが望ましい場合がある。プロセッサ807は、先に論考された通り、悪意のあるまたは不正なファイルを検出するための複数の異なるファイルタイプ特有の検出ナゲット829、831のためにプログラムされ得る。検出ナゲットの各々ここでは、2つの検出ナゲット829、831で表されるは、ファイルの1つのタイプを検査するようプログラムされ得る。これにより、受信されたファイルを処理するための命令の格納にいずれかの時点で必要とされるメモリ量を低減することができ、高速処理をもたらすことができる。UIDおよび正当/不正インジケータ835ならびにURLリスト837に対するローカルキャッシュは、ローカルで受信されたネットワークトラフィックの迅速な処理のため、プロセッサ807によって容易にアクセスすることができる。それぞれの異なるコンピュータシステム801は、それ自体のローカルキャッシュ835、837を維持することができる。UIDおよび正当/不正インジケータ839ならびにURLリスト841に対するディスパッチャキャッシュは、必要に応じて、ローカル図示の通りでもリモート図示せずでもあり得、その結果、多数の異なるコンピュータシステムからの結果の、共有され中央でアクセス可能な記憶領域が提供される。任意選択の侵入検知/防止ユニットこの図では、示さずは、プロセッサ807に含まれ得、公知の技法に従ってプログラムされ得る。場合により、ネットワークトラフィックを受信する815およびUIDを生成する819機能は、例えば、ネットワークトラフィックのプリプロセッサとしてIDS/IPSにプログラムされ得る。ここで図9を参照すると、第2の実施形態によるファイル分析に関連する簡略化された代表的な環境を示す図が論考され、説明される。図では、ファイル送信元901コンピュータシステム、サーバ、データベース、電子記憶装置または同様のものなどは、公知の技法に従って、データコレクタ903にファイルを提供する。データコレクタ903は、例えば、侵入に対するファイルのモニタリング、送信のモニタリング、ファイルのスキャニングまたは同様のものを含む理由でファイルにアクセスすることができる。ファイルを評価させるため、データコレクタ903は、上記で論考された通り、検出ルーティングを用いた統合検出システム905へファイルを提供する。示される攻撃検出システム905は、DLIB911、ディスパッチャ913、データルーティングテーブル915、複数の検出コンポーネント907、909および任意選択のサンドボックス917を含み、すべてが例えば、図5および図6に関連して上記で詳細に論考される通りである。好都合には、DLIB、ディスパッチャ、検出コンポーネント、データルーティングテーブルおよび任意選択のサンドボックス907、909、911、913、915、917は、同じプロセッサ上にここに示されるようにまたはプロセッサの中で分配して設けることができる。これらの詳細については既に詳細に論考されており、ここでは繰り返さない。ここで図10を参照すると、第2の実施形態による例示的なコンピュータシステムの一部を示すブロック図図5および図6を含むが論考され、説明される。本明細書でシステムと呼ばれる場合があるコンピュータシステム1001は、1つまたは複数のコントローラ1005を含み得、コントローラ1005は、公知の技法に従ってネットワーク1035から通信を検知することができる。コントローラ1005は、プロセッサ1007、メモリ1013、任意選択のディスプレイ1009および/またはキーボード1011などの任意選択のユーザ入力装置を含み得る。プロセッサ1007は、1つもしくは複数のマイクロプロセッサおよび/または1つもしくは複数のデジタル信号プロセッサを含み得る。メモリ1013は、プロセッサ1007と結合され得、読み取り専用メモリROM、ランダムアクセスメモリRAM、プログラマブルROMPROMおよび/または電気的消去可能な読み取り専用メモリEEPROMを含み得る。メモリ1013は、特に、プロセッサ1007によって実行されるプログラムに対するオペレーティングシステム、データおよび変数1015を格納するための複数のメモリ位置と、プロセッサにさまざまな機能に関連して動作させる、例えば、コンピュータファイルを含むデータをキャプチャするためのデータコレクタ1017、コンピュータファイルに対するUIDを生成する1019、コンピュータファイルが正当なUIDとして示されるかまたは不正なUIDとして示されるか判断する1021、UIDが記憶領域内に存在しない場合にファイルタイプ特有の検出コンポーネントを呼び出す1023、UIDとともにファイルが正当であるか不正であるかについての検出ナゲットからの結果を格納する1025、ファイルのUIDが正当であると示される場合に検出をスキップする1027、ファイルのUIDが不正であると示される場合に検出をスキップして警告を発する1029、1つまたは複数の検出コンポーネントから1つまたは複数のファイルタイプへの対象の宣言を受信する1031、悪意のあるまたは不正なファイルを検出するための複数の異なるファイルタイプ特有の検出コンポーネント1043、1041および/または他の処理などのコンピュータプログラムと、UIDおよび正当/不正インジケータ1035ならびにURLリスト1037に対するローカルキャッシュやUIDおよび正当/不正インジケータ1039ならびにURLリスト1041に対するディスパッチャキャッシュと、データルーティングテーブル1047と、プロセッサ1007によって使用される他のさまざまな情報に対するデータベース1049とを含み得る。コンピュータプログラムは、例えば、ROMまたはPROMに格納することができ、コンピュータシステム1001のオペレーションの制御においてプロセッサ1007に指示することができる。プログラムについては以下で概観するが、詳細の大部分は他で論考され、ここでは繰り返さない。プロセッサ1007は、コンピュータファイルを含むデータをキャプチャするデータコレクタ1017とともにプログラムされ得る。プロセッサ1007は、公知の技法に従って、他で説明されるように、コンピュータファイルに対するUIDを生成する1019ようプログラムされ得る。プロセッサ1007は、UIDおよび正当/不正インジケータならびにURLリスト1035、1037、1039、1041のローカルキャッシュおよびディスパッチャキャッシュを参照して、他で論考されるように、コンピュータファイルが正当なUIDとして示されるかまたは不正なUIDとして示されるかおよび/または悪意のあるURLとして示されるか判断する1021ためにプログラムされ得る。プロセッサ1007は、UIDが記憶領域内に存在しないまたは汚染として印を付けられる場合、データルーティングテーブル1047によるファイルタイプに対して、1つまたは複数のファイルタイプ特有の検出コンポーネントを呼び出す1023ためにプログラムされ得る。プロセッサ1007は、ローカルキャッシュおよびディスパッチャキャッシュのUIDおよび正当/不正インジケータ1035、1039において、UIDとともにファイルが正当であるか不正であるかについての検出コンポーネントからの結果を格納する1025ためにプログラムされ得る。プロセッサ1007は、ファイルのUIDが既に正当であると示される場合に検出コンポーネントをスキップする1027ためにプログラムされ得る。プロセッサ1007は、ファイルのUIDが不正であると示される場合に検出コンポーネントをスキップして警告を発する1029ためにプログラムされ得る。プロセッサ1007は、検出コンポーネントから既定のファイルタイプへの対象の宣言を受信する1031ためにプログラムされ得、その結果、そのファイルタイプのファイルが受信された場合、そのファイルタイプを対象とすると宣言した1つまたは複数の検出コンポーネントのみに方向付けられる。プロセッサ1007は、先に論考された通り、悪意のあるまたは不正なファイルを検出するための複数の異なるファイルタイプ特有の検出コンポーネント1043、1045のためにプログラムされ得る。機能のさまざまな論理的分類が本明細書に記載されていることを理解されたい。異なる実現法では、これらの論理的分類の1つまたは複数は省略され得る。同様に、さまざまな実現法において、機能は異なる方法で分類されても、組み合わされても、拡張されてもよい。その上、任意選択として特定されたものを含む機能は、さまざまな実現法から省略することができる。同様に、本説明は、データベースまたはデータや情報の収集物について説明しても示唆してもよい。1つまたは複数の実施形態により、データベースまたはデータや情報の収集物の分配、組合せもしくは拡張、または、ローカル図示の通りおよび/もしくはリモート図示せずでの実現が可能となる。ここで図11を参照すると、準リアルタイムネットワーク攻撃検出のためのプロセスを示すフロー図が論考され、説明される。この手順は、例えば、図8に関連して説明されるコンピュータシステムまたは適切に配置された他の装置のプロセッサに有利に実装することができる。概要では、プロセス1101は、コンピュータファイルを含むネットワークトラフィックを受信し1103、コンピュータファイルに対する一意識別子を生成し1105、記憶領域に反映されるものと同じUIDを有する以前に検査されたファイルと比較したUIDに基づいて、ファイルが正当であるとして示されるかまたは不正であるとして示されるか判断し1107、ファイルが正当であるとも不正であるとも印を付けられていない場合UID記憶領域に存在しない場合など1109は、ファイルタイプ特有の検出ナゲットを呼び出し、ファイルが悪意のあるものかどうか検出し、その結果をUID記憶領域に格納し1111、ファイルが不正であると示される場合1113は、警告し、ロギングし、不正なファイルをドロップする措置を講じ1115、そうでない場合ファイルが正当であると示される場合は、正当なファイルの通常の処理を継続する措置を講じることができる。次いで、プロセス1101は、上記工程に戻り、引き続き、ネットワークトラフィック内の次のコンピュータファイルを受信する1103ことができる。上記で論考されるように、ファイルタイプ特有の検出ナゲットがファイルのサブコンポーネントに対する異なるファイルタイプ埋め込みファイルなどを検出すれば、プロセスは、そのファイルがまるでネットワークトラフィックで受信されたコンピュータファイルであるかのように、ファイルのサブコンポーネントを再帰的に処理することができる。ここで図12を参照すると、統合されたファイル検出のためのプロセス1201を示す図が論考され、説明される。この手順は、例えば、図10に関連して説明されるコンピュータシステムまたは適切に配置された他の装置のプロセッサに有利に実装することができる。図12の大部分は、検出ナゲットの代わりに、対象とすると宣言されたファイルタイプ特有の検出コンポーネントを取り扱うことを除いて、図11の繰り返しである。上記を繰り返さなくとも、原理は理解されよう。しかし、ここでは概要を提供する。概要では、プロセス1201は、コンピュータファイルを含むデータをキャプチャし1203、コンピュータファイルに対する一意識別子を生成し1205、記憶領域に反映されるものと同じUIDを有する以前に検査されたファイルと比較したUIDに基づいて、ファイルが正当であるとして示されるかまたは不正であるとして示されるか判断し1207、ファイルが正当であるとも不正であるとも印を付けられていない場合UID記憶領域に存在しない場合など1209にのみ、プロセス1201は、そのファイルのファイルタイプへの以前に対象とすると宣言された1つまたは複数のファイルタイプ特有の検出コンポーネントを呼び出し、ファイルが悪意のあるものかどうか検出し、その結果をUID記憶領域に格納し1211、ファイルが不正であると示される場合1213は、プロセス1201は、警告し、任意選択でロギングし、ファイルが不正であることを示す結果を返し1115、そうでない場合ファイルが正当であると示される場合は、正当なファイルの通常の処理を継続する措置を講じることができる。次いで、プロセス1201は、上記工程に戻り、引き続き、データ内の次のコンピュータファイルをキャプチャする1203ことができる。上記で論考されるように、ファイルタイプ特有の検出コンポーネントがファイルのサブコンポーネントに対する異なるファイルタイプ埋め込みファイルなどを検出すれば、プロセス1201は、そのファイルがまるでデータでキャプチャされた別のコンピュータファイルであるかのように、ファイルのサブコンポーネントを再帰的に処理することができる。その上、実施形態は、前述の有形のコンピュータ可読媒体を用いて構成されたコンピュータシステムおよび/もしくは方法、ならびに/または、前述のコンピュータ可読媒体を用いて構成された少なくとも1つのコンピュータシステムおよび/もしくは方法を備えた通信ネットワークを含み得る。MD5機能は、ユニバーサル一意識別子の生成に使用される公知のハッシュ関数の一例としてとして上記で論考されてきた。しかし、ファイルに対するユニバーサル一意識別子を生成するため、MD5の代わりに使用できる他のハッシュ関数および/または暗号学的ハッシュ関数が多数存在し、その例としては、HMAC、MD2、MD4、SHA-0、SHA-1、SHA-2関数のいずれかおよび同様のものならびに先行関数の変形体およびその進化体が挙げられる。ファイルに対するユニバーサル一意識別子を生成するためのハッシュ関数は、当業者に知られているURLおよび/またはファイル名、名前空間または同様のものが含まれる場合があるファイルのコンテンツを組み込むことができる。ユニバーサル一意識別子という名称は、本明細書では、ある一定のサイズを有し、2つの異なるアイテムが同じ識別子を共有することが実際に不可能になるような生成プロセスを使用する識別子を示すために使用される。対象の通信ネットワークは、例えば、パケットは送信先で生成され、パケットは送信され、パケットはネットワークインフラ装置を通じてルーティングされ、パケットで指定される送信先へ送信される、データを送信するパケット交換ネットワークによって、パケット処理プロトコルに従ってパケットで情報を送信するものを含むことに留意されたい。そのようなネットワークは、例として、インターネット、イントラネット、ローカルエリアネットワークLAN、無線LANWLAN、広域ネットワークWANおよび他のものを含む。パケットを利用する通信ネットワークをサポートするプロトコルは、TCPトランスポート層をサポートする任意のリンク層を有するさまざまなネットワークプロトコルの1つもしくは複数、または、例えばIPV4もしくはIPV6などのトランスポート層上に乗る任意のアプリケーション、他の無線アプリケーションプロトコルまたは有線アプリケーションプロトコルおよび/または他のプロトコル構造ならびにその変形体および進化体を含む。そのようなネットワークは、無線通信能力の提供、ならびに/または、ケーブルおよび/もしくはコネクタもしくは同様のものなどの有線接続の利用を可能にする。ファイルという名称は、本明細書では、任意の情報のブロックまたは情報を格納するためのリソースとして定義され、コンピュータプログラムによって読み取り可能であり、非一時的な電子メモリに格納される。ファイルは、現行のプログラムが終了した後もプログラムに対して引き続き使用することができる。通常、ファイルは、ファイル名と、その記憶領域内でファイルをユニークに位置付ける経路とを有する。複数のファイルは、通常、ファイルディレクトリ内で組織化される。ファイルの形式は、ファイルヘッダ、ファイルデータファイルのコンテンツである、メタデータおよび/または属性を含めるように、UNIX登録商標もしくはWINDOWS登録商標などのファイルシステムまたは他のファイルシステムによってさらに事前に定義することができる。ファイルの属性は、ファイルに実行できるオペレーション例えば、読み取り、書き込み、隠し、アーカイブおよび同様のものおよび/またはファイル名、ファイルサイズ、タイムスタンプおよび同様のものを指定することができる。ファイルデータという名称は、本明細書では、ファイルのコンテンツファイルヘッダ、ファイルメタデータおよびファイル属性とは異なるを意味するものとして定義される。データブロックという名称は、事前に定義された始まりと終わりまたは長さを有する事前に定義された形式を有するデータのブロックを指すが、必ずしも単一の連続したデータストリングであるわけではない。データブロックは、ファイル処理システムによって定義され得るような単一のファイルの1つまたは複数の要素であり得る。例えば、pdfドキュメントファイルは、複数のデータブロックを含み得、その一部は、圧縮されるか、または、イメージなどの他のファイルおよび同様のものを含み得る。その上、侵入検知/防止システムおよびIDS/IPSという名称は、本明細書では、侵入に対してネットワークトラフィックを受動的または能動的に分析する装置またはソフトウェアを示すために使用される。そのような装置またはソフトウェアの例は、侵入検知システムIDS、侵入防止システムIPS、ネットワーク侵入検知システムNIDS、ネットワーク侵入保護システムNIPSおよび同様のものならびにその変形体または進化体と呼ばれる場合がある。侵入検知/防止システムは、ホストベースであり得るか、または、対象システムと侵入者との間のいずれの場所通常、最終ルータまたはファイアウォールの後でも、例えば、センサを使用して、対象システムへのトラフィックをモニタすることができる。ネットワーク上の動きinmotiononanetworkまたはネットワーク上の動きinmotiononthenetworkという名称は、本明細書では、パケットの送信元ホストから送信されているが、そのパケットがパケットの送信先ホストで受信される前に観測され、読み取られ、モニタされるパケット、パケット内のデータまたはパケット内のファイルを指すものとして定義される。パケットという名称は、本明細書では、IPV4またはIPV6などのパケット処理プロトコルに従ってフォーマットされ、パケット交換ネットワークによって運ばれるデータのユニットとして定義され、ヘッダおよびデータを含み、IPパケットまたはデータグラムと呼ばれる場合がある。受動的に検出されたパケットは、本明細書では、パケットを読み取るホストによって取り出されることも開始されることもなかった1つまたは複数のパケットとして定義される。パケットを受動的に検出するとは、パケットを読み取るプロセッサから前回の送信によって取り出されることも開始されることもなかったパケットを受信することである。能動的に識別されたパケットは、本明細書では、パケットを読み取るホストによって、例えば、報告内に示されるようなホストへpingによって送信したパケットを読み取るホストによって、取り出されたかまたは開始された1つまたは複数のパケットとして定義される。リアルタイムreal-timeまたはリアルタイムrealtimeという用語は、本明細書では、分析された入力および/または生成された出力データ大きいセグメントに一緒に分類されるかまたは個別に処理されるかにかかわらずは、処理の遅れとは無関係に、同じデータセットの入力および/または出力に要するだけ、時間的に連続して処理または生成することができることを意味するものとして定義される。センサという名称は、本明細書では、その主要な機能は取り付けられたネットワーク上のネットワークトラフィックを検出して報告することであるプロセッサを含む装置を示すものとして明示的に定義され、セキュリティ器具、セキュリティ装置またはセンサ器具と呼ばれる場合もあり、スタンドアロン型か、または、ファイアウォール、アンチウイルスキャニング装置、コンテンツフィルタリング装置、侵入検知器具、侵入防止器具、侵入テスト器具、脆弱性評価器具および同様のものの1つまたは複数に組み込むことができる。センサは、インラインでそれを通してトラフィックが流れるように、ネットワーク内の器具としてインストールされる、タップとしてクライアントとサーバとの間のネットワークトラフィックは、本質的には他のネットワーク実体には見えないセンサへのタップによってコピーされるまたはスパンした状態でトラフィックはルータまたはスイッチのサーバ側またはクライアント側のいずれかでスパンされ、任意のポートから着信方向と発信方向の両方のトラフィックをコピーする動作することができる。センサは、センサが見るパケットに関する情報を収集することができ、個別のパケットに対する収集したパケット情報、パケットの要約、報告を送信するようおよび/または検出されたイベントとして送信するよう構成することができる。そのようなセンサの例は、Sourcefire商標センサ、McAfee商標センサおよび同様のものを含む。本開示は、本発明の真の、意図した、公正な範囲および精神を限定することよりもむしろ、本発明に従ってさまざまな実施形態を作成および使用する方法について説明することを意図する。本発明は、特許に対する本出願の係属中に補正される場合があるため、添付の特許請求の範囲およびすべてのその均等物によってのみ定義される。前述の説明は、包括的であることも、開示される形態と全く同一の形態に本発明を限定することも意図しない。上記の教示を考慮すると、変更または変形が可能である。実施形態は、本発明の原理の最良の解説およびその実用化を提供するため、および、企図する特定の使用に適したさまざまな実施形態でおよびさまざまな変更形態を用いて、当業者が本発明を利用できるようにするために選択され、説明された。そのような変更形態および変形形態のすべては、公正に、法的に、公平に与えられた幅広さに従って解釈すると、特許に対する本出願の係属中に補正される場合があるため、添付の特許請求の範囲およびすべてのその均等物によって決定されるように本発明の範囲内にある。