Multimodal Affect Assessment in Aviation Training

Affect has an impact on learning by influencing various cognitive, psychomotor and motivational processes. This research aims to understand the role of affect in aviation training. We examined participants’ (N = 19) affect in simulated aviation training while they perform ten aviation tasks designed to their skill level. Performance was graded with a rubric provided by our collaborator, CAE Inc. Affective states were inferred from two biometric measurements (electrodermal activity, facial expression) and one ‘ground truth’ measurement (experiential selfreport). Convergent results were found among all the data channels: Arousal from facial expression and electrodermal activity correlated positively with each other; Correlations between biometrically inferred affect and self-reported affect correlates (workload, fatigue, effort, perceived control and value) were found and were consistent with past research. These convergent findings support the validity of the measurements. Furthermore, we found that arousal (inferred from electrodermal activity) positively predicted performance in low difficulty task, and that mental workload (as measured from self-report) negatively predicted performance in medium and difficult tasks. We found that emotions did not vary significantly by how well a task was performed. This research adds empirical evidence on the impact of affective states on aviation training performance. Furthermore it addresses a gap in the literature regarding mechanisms to demonstrate convergence between multimodal affect data. This research is a preliminary step to a comprehensive assessment of affect in aviation training, which could eventually help training instructors to allocate appropriate scaffolding to pilots where needed, thereby improving the overall training experience and pilot performance. MULTIMODAL AFFECT vii RÉSUMÉ L'affect a un impact sur l'apprentissage en influençant divers processus cognitifs, psychomoteurs et motivationnels. Cette recherche vise à concevoir une évaluation multimodale de l'affect et à comprendre le rôle de l'affect dans la formation aéronautique. Nous avons examiné l’effet des participants (N = 19) dans une formation simulée en aviation alors qu’ils effectuent dix tâches aéronautiques conçues en fonction de leur niveau de compétence. La performance a été notée à l'aide de rubriques fournies par notre collaborateur, CAE Inc. Les états affectifs ont été déduits de deux mesures biométriques (activité électrodermique, expression faciale) et d'une mesure de «vérité fondée» (auto-évaluation expérientielle). Nous avons trouvé des résultats convergents parmi tous les canaux de données: l'excitation de l'expression faciale et l'activité électrodermique sont en corrélation positive les unes avec les autres; Des corrélations cohérentes avec les recherches antérieures se trouvent entre l'affect inféré biométriquement et les corrélats d'affect autodéclarés (charge de travail, fatigue, effort, contrôle perçu et valeur). Ces résultats confirment la validité des mesures. De plus, nous avons constaté que l'excitation (déduite de l'activité électrodermique) prédisait positivement les performances dans les tâches de faible difficulté, et que la charge de travail mental (mesurée à partir de l'auto-évaluation) prédisait négativement les performances dans les tâches moyennes et difficiles. Nous avons constaté que les émotions ne variaient pas de façon significative selon la qualité de l'exécution d'une tâche. Cette recherche comble le manque dans la littérature concernant les mécanismes pour démontrer la convergence entre les données d'affect multimodales. Nous ajoutons des preuves empiriques sur l'impact des états affectifs sur la performance de la formation en aviation. Cette recherche est une étape empirique vers une évaluation complète de l'affect dans la formation MULTIMODAL AFFECT viii aéronautique, qui pourrait éventuellement aider les instructeurs à répartir les échafaudages appropriés en cas de besoin, améliorant ainsi l'expérience et l'efficacité globales de la formation. MULTIMODAL AFFECT ix LIST OF TABLES Table 1. Descriptive Statistics of Facial Expression Variables, EDA features and Questionnaire Responses.51 Table 2. Bivariate Correlation between EDA Features and Facial Expression Variables.52 Table 3. Bivariate Correlation between Physiological Arousal and Self-reported Affect Correlates.53 Table 4. Bivariate Correlation between Behavioral Cues and Self-reported Affect Correlates.54 Table 5. Observed and Expected Counts for Discrete Emotions Exhibited during High and Low Performance.58