[en] The exponential progress of the field of astronomy is coupled with an exponential progress of its technology. The increase in ground-based telescopes, space missions, and the quality and size of their optics and detectors, is generating and will generate data at an equally exponential rate. Data volume income, unfortunately, is not equated with advances in storage and transmission capacity. Astronomical data volume forecasts computational overcosts. Fortunately, there exists a plausible way to manage all the data income without expending economical and material resources on hardware. Data can be encoded, reducing the number of symbols required to express a message and therefore compressing its volume. The goal of this research is to provide alternative lossless and lossy compression techniques, which outperform fpack (the default compressor in the most important observatories), to help the astronomical community address the future challenge of the data avalanche. To accomplish the objective, a thorough research of the state of the art of lossless and lossy compression techniques has been carried out. The compression strategies have been tested on a representative and unprecedentedly large dataset. Lossless compression methods have been found to surpass both fpack compression performance and compression and decompression times. JPEG 2000 or LPAQ9M have been found to have higher Compression Ratio (CR) and, in the case of the former, even lower compression times. The techniques proposed could be implemented in the CFITSIO library to be supported by fpack and to work directly with FITS data. These techniques could be the default lossless compression techniques to more efficiently reduce observatories archives. The research on lossy compression combined not only compression results, but an additional analysis on the effects of information loss on scientific analysis. The results revealed that the best lossless compressor found, namely LPAQ9M, combined with a previous bi-region quantization process to introduce loss and enhance LPAQ9M compression efficiency, outperforms fpack. The presented novel lossy compression technique maintains higher fidelity with the astronomical photometric analysis while equaling or even outperforming fpack CR results. Equally, the lossy method proposed could also be implemented in CFITSIO to be supported by fpack, as a lossy compression alternative in case the compression requirements are more restrictive. As results suggest, the information loss can still guarantee photometric fidelity for most scientific analyses. The use of these proposed new techniques allows scientific community to reduce data storage and transmission costs.

[es] El progreso exponencial del campo de la astronomía va unido a un progreso exponencial de su tecnología. El aumento de los telescopios terrestres, de las misiones espaciales y de la calidad y tamaño de sus ópticas y detectores está generando y generará datos a un ritmo igualmente exponencial. Desgraciadamente, el aumento del volumen de datos no se corresponde con los avances en la capacidad de almacenamiento y transmisión. El volumen astronómico de datos pronostica sobrecostes computacionales. Afortunadamente, existe una forma plausible de gestionar todo el ingreso de datos sin gastar recursos económicos y materiales en hardware. Los datos pueden ser codificados, reduciendo el número de símbolos necesarios para expresar un mensaje y, por tanto, comprimiendo su volumen. El objetivo de esta investigación es proporcionar técnicas alternativas de compresión con y sin pérdidas, que superen a fpack (el compresor por defecto en los observatorios más importantes), para ayudar a la comunidad astronómica a afrontar el futuro reto de la avalancha de datos. Para lograr el objetivo, se ha llevado a cabo una investigación exhaustiva del estado del arte de las técnicas de compresión con y sin pérdidas. Las estrategias de compresión se han probado en un conjunto de datos representativo y con un tamaño sin precedentes. Se ha comprobado que los métodos de compresión sin pérdidas superan tanto el rendimiento de la compresión fpack como los tiempos de compresión y descompresión. Se ha comprobado que JPEG 2000 o LPAQ9M tienen un mayor Ratio de Compresión (RC) y, en el caso del primero, incluso menores tiempos de compresión. Las técnicas propuestas podrían implementarse en la librería CFITSIO para ser soportadas por fpack y trabajar directamente con datos FITS. Estas técnicas podrían ser las técnicas de compresión sin pérdidas por defecto para reducir de forma más eficiente los archivos de los observatorios. La investigación sobre la compresión con pérdidas combinan no sólo los resultados de la compresión, sino un análisis adicional sobre los efectos de la pérdida de información en el análisis científico. Los resultados revelaron que el mejor compresor sin pérdidas encontrado, LPAQ9M, combinado con un proceso previo de cuantización en dos regiones, para introducir pérdidas y mejorar la eficiencia de compresión de LPAQ9M, supera a fpack. La nueva técnica de compresión con pérdidas presentada mantiene una mayor fidelidad con el análisis fotométrico astronómico al tiempo que iguala o incluso supera los resultados de RC de fpack . Igualmente, el método con pérdidas propuesto también podría implementarse en CFITSIO para ser soportado por fpack, como alternativa de compresión con pérdidas en caso de que los requisitos de compresión sean más restrictivos. Como sugieren los resultados, la pérdida de información aún puede garantizar la fidelidad fotométrica para la mayoría de los análisis científicos. El uso de estas nuevas técnicas propuestas permite a la comunidad científica reducir los costes de almacenamiento y transmisión de datos. Traducción realizada con la versión gratuita del traductor DeepL.com