Package: azotea
azoteaPipeline Python de reducción de datos paraAZOTEA(Astronomía Zenital desde el hOgar en Tiempos de Extremo Aislamiento).Esta es una herramienta de línea de comandos.IntroducciónAZOTEA es un programa que lleva una pequeña base de datos incorporada para recordar los valores medidos y el estado de procesamiento de las imagenes. El usuario nunca trata con la base de datos directamente sino que actua con comandos. Las imagenes nunca se modifican ni se cambian de lugar y tipicamente se genera una sesion de procesado con el lote de imágenes del directorio de trabajo. Lo habitual sería un directorio por día lleno de imagenes.Los datos de interés se guardan en la base de datos y a partir de ellos se generan ficheros para publicar o compartir.Si la base de datos se corrompe o se borra, para recuperar su contenido habría que correr el pipeline de reduccióm de imágenes con todos los directorios que se hayan generado, cosa no siempre posible. Por ello se incluyen comandos de backup de la base de datos.El pipeline de AZOTEA consta de los siguientes pasos en secuencia:Registro de las imágenes en la base de datosCalculo de estadístcas en la región de interés (ROI) (media y varianza)Clasificacion de las imagenes den LIGHT y DARK para la sustracción de cuadro oscuroElaboración de un DARK maestro por cada directorio de trabajo si es que hay imágenes de tipo DARK y sustracción del nivel de oscuro a las tomas de tipo LIGHT.Exportación de los resultados de la sesion de reducción. En la actualidad sólo se soporta un solo formato de tipo CSVTodos estos pasos se efectuan secuencialmente conazotea image reduceOpcionalmente se puede invocarazotea image exportsin especificar directorio de trabajo para exportar en un sencillo CSV todas las seisones de reducción.Instalación y actualizaciónInstalar primeroPython 3y su herramientapip. Esta suele venir incluida en Linux y MacOS pero no así en Windows. Una vez que tenemos esto, se instala AZOTEA como sigue:pipinstall--userazoteaPara actualizar a la última versión de AZOTEA, teclear:pipinstall--user-UazoteaComprobar la version instalada~$azotea--versionazotea 0.3.0Version de PythonAZOTEA necesita Python 3.6 o superior.
AZOTEANo es compatible con Python 2ConfiguracionConfiguración globalAntes de poder operar con AZOTEA hay que crear un fichero de configuración para el observador.
La primera vez que se vaya a usar azotea, se puede hacer lo siguiente:~$azoteainitLa inicialización creará:Un directorio$HOME/azotea/donde se irán colocando ficheros de configuración, logs, informes CSV, etc.un ficheroazotea.inien el directorio$HOME/azotea/configde cada usuario.IMPORTANTE: Editar el fichero con un block de notas o similar. Los campos son descriptivos y no debería haber ningin problema al rellenarlos.Camaras soportadasAZOTEA se irá actualizando a medida que soporte más cámaras.Los modelos de camara soportados hasta el momento se pueden ver listando el fichero de configuracion internoazoteaconfigcamera--listUso Avanzado, no recomendado: Si hay necesidad de crar una entrada más a este fichero, se puede hacer una copia de él y luego editarlo de manera análoga a la configuración global. Este fichero no es para todo el mundo, sólo los que entienden cómo funciona el software deben hacerlo.azoteaconfigcamera--create2020-04-01 19:25:12,998 [INFO] Created /home/rafa/azotea/config/camera.ini filePara probar la cámara comn este nuevo fichero en todos los comandosazoteaposteriores hay que especificarlo como opción global antes de los comandos. Ejemplo:azotea--camera/home/rafa/azotea/config/camera.iniimagereduce--work-dir<directorio>OperativaLa version cortaPara observadores impacientes que quieren reducir la observación una noche en un directorio.Configurado el ficheroazotea.ini, que debe residir en$HOME/azotea/azotea.iniVolcartodaslas imagenes de la cámara de una misma noche a un directorio de trabajo (p.e./home/rafa/demo/test)Si hay tomasdark, renombrar dichas tomas adark_<nombre original>¡Por fin! ejecutar en una linea de comandos:azoteaimagereduce--work-dir<directoriodondeestánlasimágenes>Si se desea detalle del proceso, ejecutar en su lugarazotea--verboseimagereduce--work-dir<directoriodondeestánlasimágenes>Ejemplo de sesion de reducciónPrimera inicializacion~$azoteainit2020-04-16 11:02:38,937 [INFO] Creating /home/rafa/azotea directory
2020-04-16 11:02:38,939 [INFO] Creating /home/rafa/azotea/config directory
2020-04-16 11:02:38,939 [INFO] Creating /home/rafa/azotea/dbase directory
2020-04-16 11:02:38,939 [INFO] Creating /home/rafa/azotea/backup directory
2020-04-16 11:02:38,940 [INFO] Creating /home/rafa/azotea/log directory
2020-04-16 11:02:38,940 [INFO] Created /home/rafa/azotea/config/azotea.ini file, please review it
2020-04-16 11:02:38,940 [INFO] Created database file /home/rafa/azotea/dbase/azotea.db
2020-04-16 11:02:39,375 [INFO] Created data model from schema.sql
2020-04-16 11:02:39,376 [INFO] Populating data model from auxiliar.sqlReorganizacion de un lote de observaciones de varias noches~$azoteareorganizeimages--input-dirtodas_mis_observaciones--output-dirzamorano2020-04-08 11:53:43,826 [INFO] Read 6 images
2020-04-08 11:53:43,826 [INFO] Creating 2 output directories
2020-04-08 11:53:43,826 [INFO] Copying images to output directories
2020-04-08 11:53:43,885 [INFO] Copied 6 imagesReducción separada de una nocheNoche del 25 al 26 de Marzo de 2020~$azoteaimagereduce--work-dirzamorano/2020-03-252020-04-16 11:15:45,112 [INFO] Created data model from schema.sql
2020-04-16 11:15:45,113 [INFO] Populating data model from auxiliar.sql
2020-04-16 11:15:45,313 [INFO] Opening configuration file /home/rafa/azotea/config/azotea.ini
2020-04-16 11:15:45,315 [INFO] Found 3 candidates matching filter *.*
2020-04-16 11:15:45,316 [INFO] ==> Start reduction session, id = 20200416091545
2020-04-16 11:15:45,449 [INFO] Registered 3 images in database
2020-04-16 11:15:45,579 [INFO] 3 new images registered in database
2020-04-16 11:15:45,579 [INFO] 0 images deleted from database
2020-04-16 11:15:45,579 [INFO] Computing image statistics
2020-04-16 11:15:46,757 [INFO] Statistics for 3 images done
2020-04-16 11:15:46,846 [INFO] Classifying images
2020-04-16 11:15:46,901 [INFO] Classified 3 images
2020-04-16 11:15:46,902 [INFO] No dark frame found for current working directory
2020-04-16 11:15:46,903 [INFO] Saved data to session CSV file /home/rafa/azotea/csv/-session-2020-03-25.csvLa observacion de la noches se deja bajo la carpeta$HOME/azotea/csv/en el fichero CSVsession-2020-03-25.csv. Se puede especificar en la línea de comandos una ruta distinta para este fichero.Obtencion de un fichero global CSV con todas las mediciones de todas las sesiones de reduccion de datos~$azoteaimageexport2020-04-08 11:58:33,750 [INFO] Saved data to global CSV file /home/rafa/azotea/csv/azotea.csvVolver a reprocesar un directorioSi hemos cambiado la region de interes en el fichero config.ini,
debemos reprocesar los directorios que nos interese, especificando la opcion --reset.~$azoteaimagereduce--reset--work-dirzamorano/2020-03-25Reducción de varias noches de observaciónSi tenemos todas las imagenes de varias noches en un mismo directorio, esMUY RECOMENDABLEorganizarlas en subdirectorios con las imagenes de una misma noche en cada subdirectorio. Esto puede haberse hecho de origen por el programa de adqusisción de la cámara, pero si no es así, AZOTEA puede hacerlo mirando la fecha de exposición de los datos EXIF de cada imagen.~$azoteareorganizeimages--input-dirzamorano/toidas_mis_observaciones--output-dirzamorano/clasificadas
~$lszamorano/clasificadasAhora podemos reducir todas las noches de observación con una orden simple~$azoteaimagereduce--work-dirzamorano/clasificadasSe generará un fichero CSV por noche de observaciónFichero de camarasAZOTEA viene información de cómo decodificar los canales RGB de cámaras conocidas hasta la fecha.
AZOTEA se irá actualizando a medida que se van probando más cámaras.
Sin embargo, para ir añadiendo camaras no conocidas hasta la fecha a un fichero, se puede crear un fichero.azoteaconfigcamera--create
emacs~$/azotea/config/camera.iniTrazas (log)Por defecto AZOTEA saca unas trazas por consola con breve información de lo que va haciendo. Si se desea más detalle se puede especificar la opción--verbose(abreviado-v). Por el contrario, se puede tambien omitir las trazas (excepto las de error y aviso) con la opción--quiet(abreviado-q)azotea--verbose<comando><subcomando>Las trazas de consola reducción de datos puede además capturarse a un ficheroazoteaimagereduce--log-file<rutadelficherodelog>[otrasopcionesdelsubcomandoreduce]Para la ejecución automatizada bajo un trabajo planificado (ej. cron de Linux), se pueden deshabilitar las trazas de consola y habilitar las de ficheroazoteaimagereduce--multiuser--no-console--log-file<rutaficherolog>--work-dir<rutadir>Procesado para varios observadores (multiusuario)Para una reducción automatizada de todas las observaciones de todos los usuarios hay que hacer un trabajo organizativo previo por cada observador.Por cada observador:Preparar su fichero exclusivo de configuracion global y colocarlo en $HOME/azotea/config/cp$HOME/azotea/config/azotea.ini$HOME/azotea/config/jizquierdo.ini
emacs$HOME/azotea/config/jizquierdo.iniRecolectar las imágenes de los observadores cada una en un direcorio distintomkdircontribuciones/jizquierdoEsrequisitoque el nombre del directorio seaigualal del fichero de configuracion, sin el sufijo.iniReorganizar las imagenes de cada observacion por noche de observacionPuede que ya las tengamos separadas en directporios de observacion de origen, peor si no es así, se puede ejecutar lo siguiente:azoteareorganizeimages--input-dircontribuciones/jizquierdo--output-dirclasificadas/jizquierdo
lsclasificadas/jizquierdoUna vez finalizados estos pasos, ya se puede proceder a la reduccipn automatizada.ReduccionReducir las imágenes de todos los observadoresazotea image reduce --multiuser --work-dir clasificadasCon el indicador--multiuserAZOTEA ira navegando por los subdirectorios de directorio de trabajo especificado (clasificadas) y tomara dischos nombres de subdirectorio como nombres de fichero .ini a cargar
Y efectuará uan reducción de varias noches de observación por cada usuarioOtros comandosAZOTEA tiene otros comandos paraefectuar y listar backups de la base de datoslimpiar o recrear la base de datos desde cero.Ficheros CSV de salidaEl pipeline de reducción genera dos ficheros CSV:Un fichero global CSV donde se van acumulando todos los datos de todos los lotes procesados hasta el momento:azotea.csvUn fichero CSV con los resultados de la reducción del último lote. Si el lote solo abarca un directorio de trabajo, el nombre serásession-<directorio de trabajo>.csv. Si el lote comprende varios directorios de trabajo, el fichero incluye el identificador del lote, no el directorio de trabajosession-YYYYMMDDHHMMSS.csv(Ejemplo:session-20200402103223.csv)Ambos ficheros se situan en la el directorio raiz ($HOME) de cada usuario.El fichero CSV tiene una cabecera con los nombres de las columnas, a saber:ColumnaDescripcionsessionId. de sesion de reducción de datos (YYYYMMDDHHMMSS).observerNombre del observador.organizationOrganizacion a la que pertenece el observador.locationLocalidad desde donde ha sido tomada la imagen.typeTipo de imagen (LIGHT/DARK)tstampFecha y hora de la imagen, formato ISO 8601nameNombre de la imagen (=nombre del fichero sin la ruta.)modelModelo de cámara.ISOSensibilidad ISO de la toma.roiRegion de interés [x1:x2, y1:y2]dark_roiRegion de interes para medida oscura [x1:x2, y1:y2]exptimeTiempo de exposicionmean_signal_R1Promedio de señal canal R.stdev_signal_R1Desviación tipica señal del canal R.mean_signal_G2Promedio de señal en un canal G.stdev_signal_G2Desviación tipica de señal en un canal G.mean_signal_G3Promedio de señal en el otro canal G.stdev_signal_G3Desviación tipica de señal en el otro canal G.mean_signal_B4Promedio de señal del canal B.stdev_signal_B4Desviación tipica señal del canal B.Referencia de comandosVersion del programaazotea--versionComandosLa lista de comandos soportados por AZOTEA puede ir cambiando con las versiones. Aún así siempre se podrán averiguar todos con la opcion --help en cada nivel.La invocación de AZOTEA tiene la forma general de:azotea [--opcion1, --opcion2, ...] <comando>  <subcomando> [--opcion3, --opcion4, ...]Cada comando y subcomando dentro del comando tienen su propia ayuda:azotea--help
azotea<comando>--help
azotea<comando><subcomando>--helpEjemplos:azotea--help
azoteaimage--help
azoteaimagelist--help