En la carga de datos, las herramientas de extracción, transformación y carga (ETL) mueven los datos transformados desde el área de ensayo al almacenamiento de datos de destino. Para la mayoría de las organizaciones que usan ETL, el proceso está automatizado, bien definido, continuo y por lotes. A continuación se presentan dos métodos para cargar datos:
Carga completa
En LA carga completa, todos los datos de la fuente se transforman y se mueven al almacenamiento de datos. La carga completa suele tener lugar la primera vez que carga datos de un sistema de origen en el almacenamiento de datos.
Carga progresiva
En la carga progresiva, la herramienta ETL carga el delta (o la diferencia) entre los sistemas de origen y destino a intervalos regulares. Almacena la fecha del último extracto para que sólo se carguen los registros agregados después de esta fecha. Hay dos formas de implementar la carga progresiva.
Transmisión de carga progresiva
Si tiene volúmenes de datos pequeños, puede transmitir cambios continuos mediante canales de datos al almacenamiento de datos de destino. Cuando la velocidad de los datos aumenta a millones de eventos por segundo, puede usar el procesamiento de flujo de eventos para monitorear y procesar las secuencias de datos para tomar decisiones más oportunas.
Carga progresiva por lotes
Si tiene grandes volúmenes de datos, puede recopilar cambios de datos de carga en lotes periódicamente. Durante este período de tiempo establecido, no se pueden realizar acciones ni en el sistema de origen ni en el de destino a medida que se sincronizan los datos.