# Detecção de anomalias

Em mineração de dados, a detecção de anomalias (também detecção de outliers ) é a identificação de itens, eventos ou observações raros que levantam suspeitas por serem significativamente diferentes da maioria dos dados. Normalmente, os itens anômalos se referem a algum tipo de problema, como fraude bancária, defeito estrutural, problemas médicos ou erros em um texto. Anomalias são também referidas como outliers, ruído, desvios e exceções.
Em particular, no contexto de detecção de intrusos em uma rede, os objetos de interesse geralmente não são os objetos raros, mas surtos inesperados de atividade. Esse padrão não atende à definição estatística comum de um outlier como um objeto raro, e muitos métodos de detecção de outliers (em particular métodos não supervisionados) falharão nesses dados, a menos que tenham sido tratados adequadamente. Em vez disso, um algoritmo de análise de cluster pode ser capaz de detectar os micro clusters formados por esses padrões.
Existem três categorias amplas de técnicas de detecção de anomalias. As técnicas de detecção de anomalia não supervisionada detectam anomalias em um conjunto de dados de teste não rotulados com a suposição de que a maioria das instâncias no conjunto de dados é normal, procurando instâncias que pareçam se encaixar menos no restante do conjunto de dados. As técnicas de detecção de anomalia supervisionada exigem um conjunto de dados rotulado como "normal" e "anormal" e envolve o treinamento de um classificador (a principal diferença em muitos outros problemas de classificação estatística é a natureza desbalanceada inerente da detecção de outliers). As técnicas de detecção de anomalia semi-supervisionadas constroem um modelo representando o comportamento normal de um determinado conjunto de dados de treinamento normal e, em seguida, testam a probabilidade de uma instância de teste ser gerada pelo modelo aprendido.

## Aplicações

A detecção de anomalias é aplicável em vários domínios, como detecção de intrusão, detecção de fraude, detecção de falhas, monitoramento da integridade do sistema, detecção de eventos em redes de sensores e detecção de distúrbios do ecossistema. É também frequentemente usada no pré-processamento para remover dados anômalos do conjunto de dados. Na aprendizagem supervisionada, a remoção dos dados anômalos do conjunto de dados geralmente resulta em um aumento estatisticamente significativo na precisão.

## Técnicas populares

Diversas técnicas de detecção de anomalias têm sido propostas na literatura. Algumas das técnicas populares são:
* Técnicas baseadas em densidade (k vizinhos mais próximos, fator outlier local, florestas de isolamento, e muitas outras variações desse conceito).
* Detecção de outliers baseada em correlação subespaço, e em tensores para dados de alta dimensão.
* Máquinas de vetores de suporte de uma classe.
* Redes neurais replicadoras. Autoencodificadores.
* Redes Bayesianas.
* Modelos ocultos de Markov (HMMs).
* Análise de cluster com detecção de outliers.
* Desvios das regras de associação e conjuntos de itens frequentes.
* Detecção de outliers baseada em lógica difusa.
* Técnicas de conjunto, usando o recurso de ensacamento, normalização pontuação e diferentes fontes de diversidade.
O desempenho dos diferentes métodos depende muito do conjunto de dados e parâmetros, e os métodos têm poucas vantagens sistemáticas sobre os outros quando comparados em muitos conjuntos de dados e parâmetros.

## Aplicação em segurança dos dados

A detecção de anomalias foi proposta para sistemas de detecção de intrusão (IDS) por Dorothy Denning em 1986. A detecção de anomalias para o IDS é normalmente realizada com limiares e estatísticas, mas também pode ser feita com soluções aproximadas e aprendizado indutivo. Os tipos de estatística propostos em 1999 incluíam perfis de usuários, estações de trabalho, redes, hosts remotos, grupos de usuários e programas baseados em frequências, médias, variâncias, covariâncias e desvios padrão. A contrapartida da detecção de anomalias na detecção de intrusão é a detecção de uso indevido .

## Programas

* O ELKI é um kit de ferramentas de mineração de dados Java de código aberto que contém vários algoritmos de detecção de anomalias, bem como aceleração de índice para eles.

## Conjuntos de dados

* Repositório de dados de referência de detecção de anomalias da Ludwig-Maximilians-Universität München ; Espelho na Universidade de São Paulo .
* ODDS - ODDS: Uma grande coleção de conjuntos de dados de detecção de outliers publicamente disponíveis com informações básicas em diferentes domínios.