Framework para manejo de datos heterogeneos climaticos.
Year: 2020

La Universidad Autonoma de Ciudad Juarez (UACJ) a traves del Centro de Estudios Atmosfericos y Tecnologias Verdes (CECATEV) ha recolectado informacion desde 1996, sin embargo, utiliza procesos manuales para crear los archivos que deben servir al acervo de datos climatologicos de nuestra region lo cual limita la calidad y cantidad de informacion que se produce. Ademas, debido a los compromisos que cuenta la UACJ por medio del CECATEV con diversas universidades dentro y fuera del pais, se debe compartir la informacion climatica a diferentes usuarios, entre universidades y expertos en la materia. Los datos atmosfericos son heterogeneos debido a que son recolectados por estaciones climatologicas de diferentes tipos, marcas y modelos, asi como analizadores de gases y aerosoles, lo que implica un reto en la visualizacion de los datos de una manera que facilite el analisis y la elaboracion de productos relevantes para la toma de decisiones y la mejor comprension de los procesos radiactivos y contaminantes de nuestra region. Si se considera ademas del tiempo que se emplea en concentrar la informacion manualmente, que los datos incluidos no estan homogeneizados y lo que implicaria un procedimiento mas complejo y tardado querer combinar diferentes estaciones y sensores en un solo archivo, resulta indispensable disponer de una herramienta que permita el tratamiento de los datos, minimizando tiempos y homogenizandolos para que puedan ser asimilados en modelos predictivos de la atmosfera. El presente reporte de desarrollo tecnologico construye la administracion de datos heterogeneos, iniciando por los procesos creados para su almacenamiento, asi como el tratamiento para extraccion y homogeneizacion de estos. Para este caso se utilizaron datos climaticos provenientes de estaciones meteorologicas y de calidad del aire, las cuales recolectan informacion de diferentes sensores y en diferentes unidades de medida. Para lograr lo anterior se construye un framework con estas caracteristicas. Se crea una estructura de metadatos que contienen el perfil de las estaciones y sus sensores, tambien se utiliza una base de datos NoSQL que permite la gestion de los datos en una estructura dinamica. Utilizando los metadatos y de acuerdo con la eleccion del usuario, permite combinar estaciones y sensores, rango de fechas y la unidad de salida deseada. Para finalmente a traves de los parametros elegidos extraer y homogeneizar la informacion, generando un dataset que pueda utilizarse para analisis de datos. En el primer capitulo se describe el dominio de la aplicacion analizado para decidir las estrategias a utilizar. Se establece la problematica, se define el objetivo general, los objetivos especificos, asi como la justificacion. En el segundo capitulo se refiere al marco referencial compuesto por el marco teorico, marco tecnologico y marco conceptual. En el tercer capitulo se describe las estrategias desarrolladas para la construccion del framework, la creacion de los metadatos, la estructura dinamica para el almacenamiento de los datos y el conjunto de librerias que forman el framework. En el cuarto capitulo se evaluan los resultados del framework en comparacion con el ambiente manual. En el ultimo capitulo, el quinto se presentan las conclusiones de los resultados del framework, asi como areas de oportunidad detectadas para mejoras futuras.