O processo de limpeza de dados envolve muitas etapas para identificar e corrigir entradas de problemas. A primeira etapa é analisar os dados para identificar erros. Isso pode implicar o uso de ferramentas de análise qualitativa que utilizam regras, padrões e restrições para identificar valores inválidos. A próxima etapa é remover ou corrigir erros.
As etapas de limpeza de dados geralmente incluem a correção de:
Dados duplicados: descarte informações duplicadas
Dados irrelevantes: identifique campos essenciais para a análise específica e descarte da análise os dados irrelevantes
Exceções: como as exceções podem afetar drasticamente a performance do modelo, identifique as exceções e determine a medida apropriada
Dados ausentes: sinalize e descarte ou insira os dados ausentes
Erros estruturais: corrija erros tipográficos e outras inconsistências e faça os dados cumprirem um padrão ou convenção comum