limpa os dados, carregando-os em um Armazem de Dados DW. As ferramentas de ETL tendem a atualizar sistemas com arquivos completos, com grandes quantidades de dados atualizados. Contudo, para real-time ETL, um fluxo continuo sera exigido ao longo do dia com um minimo de latencia. Operacoes real-time exigem a sincronizacao de dados atraves das multiplas camadas de uma empresa, e muitas fontes diferentes de dados. Conectar uma grande rede de dados de origem para armazenamento em um Data Warehouse Real-Time e altamente complexo.Modelagem de dados para tempo real. De uma perspectiva de arquitetura de dados, armazenagens de dados em real-time desafia a postura do armazem de dados como um sistema de medidas periodicas, defendendo o requisito para um sistema de informacoes temporais mais completas e continuas, isto e, um modelo real-time de banco de dados que lida com a natureza temporal de dados.Pesquisa, OLAP, consultas e relatorios. As ferramentas OLAP de consultas existentes hoje em dia, nao foram projetadas para atender o conceito de armazenagem real-time de dados, o que pode produzir resultados inesperados.Escalabilidade. Para sustentar processos real-time, o sistema deve ter um ambiente de back-end de Banco de Dados escalavel e flexivel, a fim de carregar e administrar quantias grandes de dados. O banco de dados deve tambem poder lidar com cargas de trabalho misturadas, uma vez que as tarefas costumeiras de atualizacao do DW de baixa latencia devera correr em paralelo com as aplicacoes real-time de tomada de decisao. O processo real-time envolvera alertas em tempo real, com o envio de e-mails com relatorios ou mensagens anexas. Estes alertas precisam ser projetados para operar com alimentacao de dados em real-time.Solucoes sugeridasUma ferramenta de BI real-time ideal sera a que pode responder todos os desafios acimas. Os peritos ao redor do mundo estao trabalhando no estudo e desenvolvimento de tal sistema e apresentam muitas abordagens para projetar um BI real-time. Algumas abordagens sao informadas aqui.Micro Batch ETL. Um armazem de dados so pode ser considerado real-time, ou proximo do real-time (near real-time), quando todo ou parte dos dados e atualizada, carregada ou refrescada em uma base de intra-dia, sem interromper o usuario no seu acesso ao sistema. ETL baseado em uma abordagem de arquivo e extremamente efetiva para tratar os requerimentos tipo batch de processamentos diarios, semanais e mensais. O conceito de Micro Batch ETL e baseado em Arquivos Logs de altualizacao real-time da tecnologia de captura de dados alterados (Change Data Capture CDC), para aquisicao de dados de uma fonte de dados operacionais transacionais. As figuras 2 e 3 dao uma apresentacao pictorica do sistema.Os arquivos de log, baseados na tecnologia de captura de dados modificados (CDC) que captura os dados que foram modificados na origem, basicamente no momento em que essas alteracoes acontecem, permitem que a informacao seja imediatamente carregada no DW destino, assegurando que as informacoes do negocios sao sempre confiaveis e oportunas. A maioria dos sistemas de gerenciamento de banco de dados administram um Log de transacao que registra mudancas feitas no conteudo do banco de dados e seus Metadadados. Esquadrinhando e interpretando o conteudo do Log