異常検知

異常検知（いじょうけんち、）や外れ値検知（はずれちけんち、）とは、データマイニングにおいて、期待されるパターンまたはデータセット中の他のアイテムと一致しないアイテムやイベントや観測結果を識別すること。何が異常であるかを定義するのは、タスク次第ではあるものの、Varun Chandolaらは異常というのは通常の動作として明確に定義された概念に準拠しないデータパターンであると定義している。各タスクに適用すると通常、異常とは、クレジットカード不正利用、構造欠陥、医学的な問題、文書中の誤り検出、不審な行動検出、機械の故障検知などの問題に翻訳する。なお、異常（anomaly）は、外れ値（outlier）、珍しい物（novelty）、雑音（noise）、変動（deviation）、例外（exception）などとも呼ばれる。

特に悪用やネットワーク侵入検知の状況では、興味深いオブジェクトは多くの場合レアなオブジェクトではなく、活動中の予期されないバーストである。このパターンはレアオブジェクトとして外れ値の一般的な統計的定義に従わず、適切に集計されない限り、多くの外れ値検知法（特に教師なし手法）はそのようなデータで失敗する。代わりに、クラスタ分析アルゴリズムはそのようなパターンで形成されたマイクロクラスタを見つけることが可能である。

異常検知技術には大きく分けて3通りの分類がある。教師なし異常検知（unsupervised anomaly detection）手法は、データセット内のインスタンスの大多数は正常であるという仮定の下でデータセットの残りにほとんどフィットしないと思われるインスタンスを探すことによって、ラベル付されていないテストデータセットにある異常を見つける。教師あり異常検知（supervised anomaly detection）手法は「正常」と「異常」にラベル付されたデータセットを必要とし、分類器を訓練することを含む（他の多くの統計分類問題との決定的な違いは固有の外れ値検出の不均衡な性質である）。半教師あり異常検知（semi-supervised anomaly detection）手法は与えられた正常な訓練データセットから正常な振る舞いを表すモデルを構成し、そして学習したモデルによって生成されるテストインスタンスの尤度をテストする。

適用例
異常検知は、侵入検知システム、詐欺検知、文書中の誤り検出、不審な行動検出、機械の故障検知、システムヘルスモニタリング、センサネットワークのイベント検知、生態系の乱れの検知など、様々な分野に応用できる。データセットから異常なデータを除去するための前処理でしばしば使われる。教師あり学習では、データセットから異常なデータを除去することはしばしば精度の統計的に有意な増加をもたらす。

よく使われる手法
いくつかの異常検知手法が文献によって提案されている。いくつかのよく使われる手法を示す：
 正規分布に従うデータの異常検知
 ホテリング理論
 マハラノビス・タグチ法
 密度比推定
 非正規データの異常検知
 ガンマ分布の当てはめ
 カイ二乗分布への当てはめ
 k近傍法
 k平均法
 混合ガウス分布モデル
 One Class SVM
 密度比推定
 不要次元のある次元データの異常検知
 主成分分析
 確率的主成分分析
 カーネル主成分分析
 入出力関係のあるデータの異常検知
 線形回帰モデル
 リッジ回帰
 ガウス過程回帰
 時系列データの異常検知
 近傍法
 特異スペクトル変換法
 自己回帰モデル
 状態空間モデル
 変数間に関係があるデータの異常検知
 疎構造学習

データセキュリティへの応用
異常検知は1986年にによって侵入検知システム（IDS）のために提案されたDenning, Dorothy, "An Intrusion Detection Model," Proceedings of the Seventh IEEE Symposium on Security and Privacy, May 1986, pages 119-131.。IDSのための異常検知は通常しきい値と統計を用いて達成されるが、ソフトコンピューティング、および帰納的学習を用いても行うことができるTeng, Henry S., Chen, Kaihu, and Lu, Stephen C-Y, "Adaptive Real-time Anomaly Detection Using Inductively Generated Sequential Patterns," 1990 IEEE Symposium on Security and Privacy。1999年までに提案された統計のタイプはユーザ、ワークステーション、ネットワーク、リモートホスト、ユーザのグループ、そして頻度、平均、分散、共分散、標準偏差に基づいたプログラムのプロファイルを含んだJones, Anita K., and Sielken, Robert S., "Computer System Intrusion Detection:  A Survey," Technical Report, Department of Computer Science, University of Virginia, Charlottesville, VA, 1999。侵入検知における異常検知のカウンターパートはである。

関連項目
 外れ値

 侵入検知システム

参考文献

Category:データマイニング