[en] This PhD Thesis has been developed within the framework of the Gaia mission of the European Space Agency (ESA) and the international Data Processing and Analysis Consortium (DPAC), which are conducting the largest and most precise stellar census ever made, and will provide astrometric information for more than 2500 million sources to the scientific community. The enormous volumes of data that must be handled in this context -which are expected to be around a Petabyte of information '-, are those of a Big Data environment and it becomes a challenge to the scientific community ----cspecially to the DPAC consortium-, complicating their storage and distribution and making their analysis by means of common techniques and applications unfeasible. In this way, the usage of alternative Data Mining strategies is needed, so that the applications are executed in a distributed fashion aruong the machines of a cluster, trying to take advantage of the maximum computing power as possible, which has been nowadays narued as Big Data. The research group in which this Thesis has been developed is involved in the DPAC consortium -in collaboration with more than 400 scientists and engineers- since 2006, participating in the data analysis tasks and tools development for the exploitation of the mission catalog. The main contribution of this Thesis to the Gaia project has been materialized through the Outlier Analysis (OA) package, which is part ofthe processing chain narued Astrophysical Parameter lnference System (Apsis), and it is devoted to the unsupervised analysis 01.' dustering ~"·~by means of Artificial lntelligence (Al) techniques"'M- of those sources whose astronomical dass could not be reliably identified by the preceding dassification package, the Discrete Source Classifier (DSC). Specifically, we have addressed the following items: Opt.imization and accommodation of the Self-Organized Maps (SOM) training algorithm to different widely used distributed computing platforms, such as Apache Hacioop and Apache Spark, so that they can be executed in an acceptable time in order to perform an unsupervised analysis of massive datasets -mainly using Gaía BP IRP spectrophotometry-. In the sarue way, we have also adapted this technique to the SAGA fraruework, designated by DPAC to support Apsis. Integration of the OA module into Apsis ·-and, therefore, also into the SAGA platform- together with the other working packages. To do this, apart from the adaptation of SOM mentioned above, we have had to determine an appropriate strategy to preprocess the data -especially the BP IRP spectrophotometry-, as well as sorne mechanisms to characterize the clusters, such as a statistical IV Abstract description based on information gathered by Gaia itself, different indicators about tbe quality of the clusters -mainly based on intra.-cluster distances-, ar a hint Oil their astronomical cIass -obtained by means of a labeling procedure using synthetic templates-. Validation of tbe techniques llsed in the OA module in arder to assess ¡ts right functioning and performance within Apsis, using small sets of real data --arGund ten millian observations_. The main goal of this process i8 to guarantee the quality of the unsupervised analysis performed by the OA module, which will produce results that will be officially published fraro Data Release 3 onwards, expected far tbe end of 2021. To do this, we have also defined the data structures needed for the storage and dissemination to the scientific community through the platform designated by DPAC, the Gaia Archive, in which we have also collaborated during the analysis and validation of use case scenarios. In addition, during the comse of this Thesis, we have contributed to the development of Data Mining tools based on SOM --as well as to the visualization of their resultswhich allow for the scientific exploitation of the mission catalogo Specifically, the visualization tool developed by our research group, GUASOM, will be available from Data Release 3 onwards, with a specific version -GUASOM flavor DR-3- to analyze the products produced by the OA module. In the same way, we have also conducted a feasibility study on Common Artificial Neural Networks, and generative ones -based 011 genetic techniques and proposed by our research group-, in order to estimate steIlar astrophysical parameters within Apsis, under the GSP-Spec working package. Finally, we have applied the Al tecbniques used in the Gaia mission --or other similar tecbniques- to other catalogs, such as the astronomical survey ALHAMBRA, in which we have performed an unsupervised analysis of its catalog, or even otber fields, such as cybersecurity, in order to autbenticate users by analyzing their behavior through a continuous monitorization of their activity.

[gl] Esta Tese de Doutoramento desenvolveuse no marco da misión Gaia da Axencia Espacial Europea (ESA, do inglés European Space Agency) e do consorcio internacional DPAC (do inglés, Data Processing and Analysis Consortium), baixo os que se está a levar a cabo o censo estelar máis preciso e máis completo ata a data, que porá a disposición da comunidade científica información astrornétrica para máis de 2500 millóns de fontes. Os grandes volumes de datos que se teñen que manexar neste contexto --,-cifra que se estima que supere o Petabyte de información-~, son propios dun entorno Big Data e supón todo un reto para a comunidade científica -especialmente para o consorcio DPAC--", dificultando o seu almacenamento e distribución e facendo imposible a súa análise mediante técnicas e aplicacións convencionais. Deste xeito, xorde a necesidade de empregar estratexias alternativas propias da Minería de Datos (Data Mining), nas que as aplicacións se executan de forma distribuída sobre un conxunto de máquinas, tratando de explotar ao máximo a súa capacidade de cómputo, o que na actualidade se denomina como Big Data. O grupo de investigación no que se realizou esta Tese forma parte do consorcio DPAC -en colaboración con máis de 400 científicos e enxeñeiros-~ dende o ano 2006, participando nas tarefas de análise dos datos e o desenvolvemento de ferramentas para a explotación do catálogo da misión. A principal contribución desta Tese ao proxecto Gaia materializouse mediante o paquete de traballo Outlier Analysis (OA), que se enmarca baixo a cadea de procesado Astrophysical Pammeter Inference System (Apsis) e que ten como obxectivo a análise non supervisada ou clustering ----empregando técnicas de Intelixencia Artificial (lA )-'- das fontes para as que o paquete de clasificación predecesor, o D'iscrefe Source Classifier (DSC), non foi capaz de identificar de forma fiable a súa clase astronómica. En concreto, abordamos os seguintes aspectos: Optimización e adaptación do algoritmo de aprendizaxe dos Mapas Auto-Organizativos (SOM) a diferentes plataformas de cómputo distribuído amplamente utilizadas, como son Apache Hadoop e Apache Spark, de forma que se poidan executar nun tempo aceptable para levar a cabo a análise non supervisada de grandes conxuntos de observacións --principalmente a través da espectrofotometría BP jRP de Gaia-. Así mesmo, tamén adaptamos esta técnica á plataforma SAGA, designada por DPAC para dar soporte a Apsis. _ Integración do módulo OA en Apsis --,e, por tanto, tamén na plataforma SAGAxunto co resto de paquetes de traballo. Para isto, ademais da adaptación dos mapas SOM mencionada anteriormente, tivemos que establecer unha axeitada estratexia para o preprocesado dos datos -en especial da espectrofotometría BP /RP-e unha serie de mecanismos para a caracterización dos clusters, dende unha descrición estadística baseada na información proporcionada polo propio satélite ata diferentes indicadores da calidade dos clusiers -baseados principalmente nas distancias intra-clusier- ou un indicio da súa clase astronómica -'-obtida a partir dun etiquetado mediante modelos sintéticos-o Validación das técnicas utilizadas no módulo OA para verificar o seu funcionamento e o seu rendemento no contexto de Apsis, empregando pequenos conxuntos de datos rcais -próximos aos dez millóns de observacións-·-. Deste xeito, preténdese garantir a calidade da análise non supervisada realizada polo módulo OA, do que se publicarán os seus resultados oficialmente a partir da Data Release 3, prevista para finais de 2021. Para isto, tamén definimos as estruturas de datos precisas para o seu almacenamento e posta a disposición da comunidade científica a través da plataforma habilitada por DPAC, o Gaia Archive, no que colaboramos durante o proceso de análise e validación de casos de uso. De forma complementaria, durante o transcurso desta Tese participamos no desenvolvemento de ferramentas para Minería de Datos baseadas en mapas SOM --e para a visualización dos seus resultados- que permitan a explotación científica do catálogo da misión. En particular, esta ferramenta de visualización desenvolta polo naso grupo de investigación, GUASOM, estará dispoñible a partir da Data Release 3, contando cunha versión específica -GUASOM flavar DR-3- para a análise dos produtos do módulo OA. Do mesmo xeito, tamén levamos a cabo un estudo de viabilidade acerca da implantación de Redes de Neuronas Artificiais convencionais e xenerativas -baseadas en técnicas xenéticas e propostas polo naso grupo de investigación- para a estimación de parámetros astrofísicos estelares en Apsis, baixo o paquete de traballo GSP-Spec. Finalmente, aplicamos as técnicas de lA utilizadas no contexto da misión Gaia --ou outras técnicas de similar natureza-- noutros catálogos, como é o caso do survey astronómico ALHAMBRA, ande realizamos unha análise non supervisada do seu catálogo, e incluso noutros ámbitos, como é o da ciberseguridade, para a autenticación de usuarios a partir do seu comportamento mediante o seguimento continuo da súa actividade.