異常検知

異常検知（いじょうけんち、）や外れ値検知（はずれちけんち、）とは、データマイニングにおいて、期待されるパターンまたはデータセット中の他のアイテムと一致しないアイテムやイベントや観測結果を識別すること。何が異常であるかを定義するのは、タスク次第ではあるものの、Varun Chandolaらは異常というのは通常の動作として明確に定義された概念に準拠しないデータパターンである定義している。各タスクに適用すると通常、異常とは、クレジットカード不正利用、構造欠陥、医学的な問題、文書中の誤り検出、不審な行動検出、機械の故障検知などの問題に翻訳する。なお、異常（anomaly）は、外れ値（outlier）、珍しい物（novelty）、雑音（noise）、変動（deviation）、例外（exception）などとも呼ばれる。
特に悪用やネットワーク侵入検知の状況では、興味深いオブジェクトは多くの場合"レアな"オブジェクトではなく、活動中の予期されない"バースト"である。このパターンはレアオブジェクトとして外れ値の一般的な統計的定義に従わず、適切に集計されない限り、多くの外れ値検知法（特に教師なし手法）はそのようなデータで失敗する。代わりに、クラスタ分析アルゴリズムはそのようなパターンで形成されたマイクロクラスタを見つけることが可能である。
異常検知技術には大きく分けて3通りの分類がある。教師なし異常検知（unsupervised anomaly detection）手法は、データセット内のインスタンスの大多数は正常であるという仮定の下でデータセットの残りにほとんどフィットしないと思われるインスタンスを探すことによって、ラベル付されていないテストデータセットにある異常を見つける。教師あり異常検知（supervised anomaly detection）手法は「正常」と「異常」にラベル付されたデータセットを必要とし、分類器を訓練することを含む（他の多くの統計分類問題との決定的な違いは固有の外れ値検出の不均衡な性質である）。半教師あり異常検知（semi-supervised anomaly detection）手法は与えられた"正常な"訓練データセットから正常な振る舞いを表すモデルを構成し、そして学習したモデルによって生成されるテストインスタンスの尤度をテストする。
適用例.
異常検知は、侵入検知システム、詐欺検知、文書中の誤り検出、不審な行動検出、機械の故障検知、システムヘルスモニタリング、センサネットワークのイベント検知、生態系の乱れの検知など、様々な分野に応用できる。データセットから異常なデータを除去するための前処理でしばしば使われる。教師あり学習では、データセットから異常なデータを除去することはしばしば精度の統計的に有意な増加をもたらす。
よく使われる手法.
いくつかの異常検知手法が文献によって提案されている。いくつかのよく使われる手法を示す：
データセキュリティへの応用.
異常検知は1986年にによって侵入検知システム（IDS）のために提案された。IDSのための異常検知は通常しきい値と統計を用いて達成されるが、ソフトコンピューティング、および帰納的学習を用いても行うことができる。1999年までに提案された統計のタイプはユーザ、ワークステーション、ネットワーク、リモートホスト、ユーザのグループ、そして頻度、平均、分散、共分散、標準偏差に基づいたプログラムのプロファイルを含んだ。侵入検知における異常検知のカウンターパートはである。