[en] For millennia, the study of the couple brain-mind has fascinated the humanity in order to understand the complex nature of cognitive states. A cognitive state is the state of the mind at a specific time and involves cognition activities to acquire and process information for making a decision, solving a problem, or achieving a goal. While normal cognitive states assist in the successful accomplishment of tasks; on the contrary, abnormal states of the mind can lead to task failures due to a reduced cognition capability. In this thesis, we focus on the assessment of cognitive states by means of the analysis of ElectroEncephaloGrams (EEG) signals using deep learning methods. EEG records the electrical activity of the brain using a set of electrodes placed on the scalp that output a set of spatio-temporal signals that are expected to be correlated to a specific mental process. From the point of view of artificial intelligence, any method for the assessment of cognitive states using EEG signals as input should face several challenges. On the one hand, one should determine which is the most suitable approach for the optimal combination of the multiple signals recorded by EEG electrodes. On the other hand, one should have a protocol for the collection of good quality unambiguous annotated data, and an experimental design for the assessment of the generalization and transfer of models. In order to tackle them, first, we propose several convolutional neural architectures to perform data fusion of the signals recorded by EEG electrodes, at raw signal and feature levels. Four channel fusion methods, easy to incorporate into any neural network architecture, are proposed and assessed. Second, we present a method to create an unambiguous dataset for the prediction of cognitive mental workload using serious games and an Airbus-320 flight simulator. Third, we present a validation protocol that takes into account the levels of generalization of models based on the source and amount of test data. Finally, the approaches for the assessment of cognitive states are applied to two use cases of high social impact: the assessment of mental workload for personalized support systems in the cockpit and the detection of epileptic seizures. The results obtained from the first use case show the feasibility of task transfer of models trained to detect workload in serious games to real flight scenarios. The results from the second use case show the generalization capability of our EEG channel fusion methods at k-fold cross-validation, patient-specific, and population levels.

[es] Por milenios, el estudio del par cerebro-mente ha fascinado a la humanidad con el fin de comprender la compleja naturaleza de los estados cognitivos. Un estado cognitivo es el estado de la mente en un momento específico e involucra todas las actividades cognitivas para adquirir y procesar información con el fin de tomar una decisión, resolver un problema o lograr un objetivo. Mientras que los estados cognitivos normales contribuyen en la realización exitosa de las tareas; al contrario, los estados mentales anómalos pueden conducir al fracaso de las tareas debido a una reducción de la capacidad cognitiva. En esta tesis nos enfocamos en la evaluación de estados cognitivos mediante el análisis de señales de electroencefalogramas (EEG) utilizando métodos de aprendizaje automático. Un EEG registra la actividad eléctrica del cerebro mediante un conjunto de electrodos colocados sobre el cuero cabelludo y emiten un conjunto de señales espacio-temporales que se espera que estén correlacionadas con un proceso mental específico. Desde el punto de vista de la inteligencia artificial, cualquier método para la evaluación de estados cognitivos utilizando señales de un EEG debe enfrentar varios desafíos. Por un lado, se debe determinar cuál es el enfoque más adecuado para la combinación óptima de las múltiples señales registradas por los electrodos del EEG. Por otro lado, se debe tener un protocolo para la recolección de datos anotados no ambiguos de buena calidad, y un diseño experimental para la evaluación de la generalización y transferencia de los modelos. Para abordar estos problemas, primero, proponemos varias arquitecturas neuronales convolucionales para realizar fusión de datos de las señales registradas por los electrodos del EEG, a niveles de señal sin procesar y a nivel de características. Se proponen y evalúan cuatro métodos de fusión, los cuales pueden ser incorporados fácilmente en cualquier arquitectura. Segundo, presentamos un método para crear base de datos no ambiguos con fines de predicción de la sobrecarga de trabajo mental utilizando juegos serios y un simulador de vuelo Airbus-320. Tercero, presentamos un protocolo de validación que tome en cuenta los niveles de generalización de los modelos en función del origen y cantidad de datos utilizados en el conjunto de test. Finalmente, las propuestas para la evaluación de estados cognitivos se aplican a dos casos de uso de alto impacto social: la evaluación de la sobrecarga de trabajo mental para sistemas de apoyo personalizados en cabinas de aviación y la detección de epilepsia. Los resultados obtenidos del primer caso de uso demuestran la viabilidad de la transferencia de tareas para detectar la sobrecarga mental de trabajo entre tareas realizadas en ambientes de juegos serios hacia escenarios de vuelos reales. Los resultados del segundo caso de uso muestran la capacidad de generalización de nuestros métodos de fusión de canales de EEG a nivel de validación cruzada \textit{k-fold}, paciente específico y población.