[ca] Durant mil·lennis, l'estudi de la parella cervell-ment ha fascinat la humanitat per entendre la naturalesa complexa dels estats cognitius. Un estat cognitiu és l'estat de la ment en un moment concret i implica activitats cognitives per adquirir i processar informació per prendre una decisió, resoldre un problema o assolir un objectiu. Mentre que els estats cognitius normals ajuden a la realització exitosa de les tasques; per contra, els estats anormals de la ment poden conduir a fracassos de tasques a causa d'una capacitat cognitiva reduida. En aquesta tesi ens centrem en l'avaluació dels estats cognitius mitjançant l'anàlisi de senyals d'Electroencefalogrames (EEG) mitjançant mètodes d'aprenentatge profund. L'EEG registra l'activitat elèctrica del cervell mitjançant un conjunt d'elèctrodes col·locats al cuir cabellut que produeixen un conjunt de senyals espai-temporals que s'espera que estiguin correlacionats amb un procés mental específic. Des del punt de vista de la intel·ligència artificial, qualsevol mètode per a l'avaluació d'estats cognitius utilitzant senyals EEG com a entrada hauria d'afrontar diversos desafiaments. D'una banda, cal determinar quin és l'enfocament més adequat per a la combinació òptima dels múltiples senyals enregistrats pels elèctrodes EEG. D'altra banda, s'hauria de disposar d'un protocol per a la recollida de dades anotades sense ambigüitats de bona qualitat, i d'un disseny experimental per a l'avaluació de la generalització i transferència de models. Per abordar-los, primer, proposem diverses arquitectures neuronals convolucionals per dur a terme la fusió de dades dels senyals enregistrats pels elèctrodes EEG, a nivells de senyal i característiques en brut. Es proposen i avaluen quatre mètodes de fusió de canals, fàcils d'incorporar a qualsevol arquitectura de xarxa neuronal. En segon lloc, presentem un mètode per crear un conjunt de dades inequívoc per a la predicció de la càrrega de treball mental cognitiva mitjançant jocs seriosos i un simulador de vol Airbus-320. En tercer lloc, presentem un protocol de validació que té en compte els nivells de generalització dels models basats en l'origen i la quantitat de dades de prova. Finalment, els enfocaments per a l'avaluació dels estats cognitius s'apliquen a dos casos d'ús d'alt impacte social: l'avaluació de la càrrega de treball mental per a sistemes de suport personalitzats a la cabina i la detecció de convulsions epilèptiques. Els resultats obtinguts del primer cas d'ús mostren la viabilitat de la transferència de tasques de models entrenats per detectar càrrega de treball en jocs seriosos a escenaris de vol reals. Els resultats del segon cas d'ús mostren la capacitat de generalització dels nostres mètodes de fusió de canals EEG a nivells de validació creuada de k-fold, específics del pacient i de població.

[en] For millennia, the study of the couple brain-mind has fascinated the humanity in order to understand the complex nature of cognitive states. A cognitive state is the state of the mind at a specific time and involves cognition activities to acquire and process information for making a decision, solving a problem, or achieving a goal. While normal cognitive states assist in the successful accomplishment of tasks; on the contrary, abnormal states of the mind can lead to task failures due to a reduced cognition capability. In this thesis, we focus on the assessment of cognitive states by means of the analysis of ElectroEncephaloGrams (EEG) signals using deep learning methods. EEG records the electrical activity of the brain using a set of electrodes placed on the scalp that output a set of spatio-temporal signals that are expected to be correlated to a specific mental process. From the point of view of artificial intelligence, any method for the assessment of cognitive states using EEG signals as input should face several challenges. On the one hand, one should determine which is the most suitable approach for the optimal combination of the multiple signals recorded by EEG electrodes. On the other hand, one should have a protocol for the collection of good quality unambiguous annotated data, and an experimental design for the assessment of the generalization and transfer of models. In order to tackle them, first, we propose several convolutional neural architectures to perform data fusion of the signals recorded by EEG electrodes, at raw signal and feature levels. Four channel fusion methods, easy to incorporate into any neural network architecture, are proposed and assessed. Second, we present a method to create an unambiguous dataset for the prediction of cognitive mental workload using serious games and an Airbus-320 flight simulator. Third, we present a validation protocol that takes into account the levels of generalization of models based on the source and amount of test data. Finally, the approaches for the assessment of cognitive states are applied to two use cases of high social impact: the assessment of mental workload for personalized support systems in the cockpit and the detection of epileptic seizures. The results obtained from the first use case show the feasibility of task transfer of models trained to detect workload in serious games to real flight scenarios. The results from the second use case show the generalization capability of our EEG channel fusion methods at k-fold cross-validation, patient-specific, and population levels.