Premier système IRIT - M y F amilly U p pour la compétition sur la reconnaissance des émotions Odyssey 2024 (2024)

Abstract: Dans cet article, nous présentons notre contribution à la tâche de classification des émotions dans la parole dans le cadre de notre participation à la campagne d’évaluation Odyssey 2024. Nous proposons un système hybride qui tire parti à la fois des informations du signal audio et des informations sémantiques issues des transcriptions automatiques. Les résultats montrent que l’ajout de l’information sémantique permet de dépasser les systèmes uniquement audio.

## introduction un aidant familial ou proche aidant est une « personne qui vient en aide, de manière régulière et fréquente, à titre non professionnel, pour accomplir tout ou partie des actes ou des activités de la vie quotidienne d'une personne en perte d'autonomie, du fait de l'âge, de la maladie ou d'un handicap » (loi n°2015-1776 article 51, 2015). en 2021, on estime à 11 millions le nombre d'aidants en france, soit un français sur six. d'après un rapport du ministère de l'économie (ministère de l'économie des finances et de la relance, 2021), les principales observations sont : les émotions ont largement été étudiées dans un cadre théorique. on peut citer notamment les modèles de représentation de plutchik (plutchik, 1980) ou d'ekman @xcite pour les plus connus. dans le cadre du traitement automatique des langues (tal), la détection des états émotionnels ou psychologiques a surtout été abordée dans le cadre de la détection des maladies mentales comme la dépression, les troubles de l'alimentation ou les troubles bipolaires (cf. @xcite pour une revue des collections de données et des tâches existantes). les campagnes d'évaluation computational linguistics and clinical psychology (clpsych) @xcite ou erisk @xcite se sont penchées en particulier sur la tâche de détection automatique de la dépression chez des utilisateurs des réseaux sociaux, avec un focus sur la détection "au plus tôt". les modèles d'apprentissage développés pour la détection automatique sont à base soit de traits pour les plus performants (utilisation de pronoms personnels, sentiment positif ou négatif, temps des verbes, etc.) @xcite , soit d'apprentissage profond (cf. @xcite pour un panorama des méthodes automatiques existantes pour la classification des états mentaux sur les réseaux sociaux). les travaux actuels dans ce domaine portent ainsi quasi uniquement sur des données écrites par des utilisateurs plutôt jeunes des réseaux sociaux. en ce qui concerne le traitement automatique de la parole (tap), la détection d'émotion est un domaine de recherche qui est issu de l'analyse automatique de la prosodie. en effet, le champ des informations non verbales constitue la source des informations pour caractériser les émotions. des compétitions internationales ont eu lieu depuis 2009 afin de faire avancer la connaissance sur cette problématique : the interspeech 2009 emotion challenge @xcite et the interspeech 2010 paralinguistic challenge @xcite . les premiers systèmes étaient basés sur des systèmes discriminants alimentés par de nombreux paramètres extraits du signal audio, comme la boîte à outil opensmile @xcite . les systèmes actuels se basent sur des architectures de réseaux de neurones profonds et ont permis d'obtenir de bonnes performances en reconnaissance des émotions sous forme de catégories @xcite @xcite . l'enjeu consiste maintenant à projeter les émotions dans un espace continu, ce qui permettra l'étude des états mentaux cognitifs @xcite . le travail présenté dans cet article détaille une première contribution dans le cadre de notre participa-tion à la campagne d'évaluation odyssey 2024 2 portant sur la reconnaissance des émotions. nous proposons ici un travail conjoint qui vise à utiliser des techniques de l'état de l'art pour combiner l'exploitation de données issues des retranscriptions d'extraits vidéo collectés sur internet et des données issues de la piste audio. dans les sections suivantes, nous présentons d'abord le corpus mis à notre disposition ainsi que la tâche de classification proposée. ensuite, nous présentons en détail l'architecture de notre système. enfin, nous détaillons et analysons les résultats obtenus. ## protocole expérimental nous présentons ici la campagne d'évaluation odyssey 2024, à savoir : les données, la tâche proposée ainsi que les métriques d'évaluation utilisées. ## résultats et discussion le tableau 3 présente les résultats obtenus sur les ensembles de développement et de test. les meilleurs résultats obtenus par notre système se situent sur les émotions joie, tristesse et colère qui