Data Warehouse, Data Mart e Data Lake: Uma Visão Abrangente
Tags: data, datascience, database, datastructures
Published: 2024-04-15 16:33:28


Conforme a humanidade ia evoluindo, viu-se a necessidade de registrar todas suas descobertas e conhecimentos, e por volta do quarto milênio a.C., foi criada na Mesopotâmia a escrita. Essa descoberta facilitou a comunicação, a transmissão de conhecimento e foi um passo maior no desenvolvimento da sociedade.

A partir dessa descoberta, tivemos um crescente número de informações e registros que precisavam ser armazenadas de alguma forma. E antes da criação do computador como conhecemos hoje, as informações eram registradas em fichas de controle, como formulários, e eram armazenadas em pastas ou gavetas em grandes salas.

Quando tivemos a criação do computador em meados de 1950, houve um crescimento exponencial na quantidade de dados gerados diariamente, e surgiu a necessidade de criação de uma estratégia efetiva para armazenar, gerenciar e analisar esses dados.

Nesse contexto, surgiram conceitos fundamentais como Data Warehouse, Data Lake, Data Mart, e o processo de ETL (Extração, Transformação e Carga), que desempenham papéis essenciais na gestão e utilização eficaz dos dados.


![description-datas](https://dev-to-uploads.s3.amazonaws.com/uploads/articles/w3wd06iz7f377yks91fr.png)

## O que é DATA LAKE?

Data Lake (lago de dados) é repositório central para dados altamente escalável e flexível  que permite que empresas armazenem dados estruturados, semi-estruturados e dados não estruturados, sem necessidade de estrutura de dados pré-definida. Ele oferece uma grande flexibilidade para análises, pois os dados podem ser transformados e processados conforme necessário.

## ETL (Extração, Transformação e Carga)

O processo de ETL tem como etapa inicial a Extração, que é responsável pela coleta de dados de diferentes fontes, como banco de dados, arquivos e sistemas externos. A próxima etapa é a Transformação, que é responsável por garanti a qualidade e consistência, fazendo a limpeza e transformação dos dados que foi recebido. E por fim temos a Carga, que faz o armazenamento dos dados transformados para o local de destino, podendo ser no Data Warehouse, Data Mart ou Data Lake.

O processo de ETL é o responsável pela transferência de arquivos limpos, sem resíduos desnecessários para uma analise mais precisa. 

## O que é DATA WAREHOUSE?

Data Warehouse (armazéns de dados) são sistemas de gerenciamento de dados projetados para armazenar grandes volumes de dados de diversas fontes em um único local, otimizados para análise e consulta. Eles servem como repositório central de dados pré processados e estruturados de forma facilitada para analise e geração de relatórios para tomada de decisões empresariais. São essenciais para aplicações de Business Intelligence (BI), permitindo que as empresas transformem seus dados em informações úteis e acionáveis.

## O que é DATA MART?

Um Data Mart é um Data Warehouse que atende as necessidades de uma unidade de negocio especifica ou grupo de usuários dentro da organização, como departamento financeiro, venda, etc. Ele contem dados específicos à área especificas de interesse, isso torna os Data Marts mais ágeis e focados do que um Data Warehouse completo, oferecendo uma visão mais detalhada e especializada dos dados. 

## Semelhanças

- Armazenamento de dados: Todos são projetados para armazenar grandes volumes de dados, de diferentes fontes.
- Processamento: Processa dados  de forma consistente, confiável e útil, permitindo analise de dados úteis para a empresa.
- Preparação: Prepara os dados em formato de arquivos XML para software machine learning ou com geração de relatórios.

## Características Gerais

![description](https://dev-to-uploads.s3.amazonaws.com/uploads/articles/v8eef8g2ju0lf1kii1ag.png)