Modéliser la facilité d’écoute en FLE : vaut-il mieux lire la transcription ou écouter le signal vocal ? (2024)

Abstract: Le principal objectif de cette étude est de proposer un modèle capable de prédire automatiquement le niveau de facilité d’écoute de documents audios en français. Les données d’entrainement sont constituées d’enregistrements audios accompagnés de leurs transcriptions et sont issues de manuels de FLE dont le niveau est évalué sur l’échelle du Cadre européen commun de référence (CECR). Nous comparons trois approches différentes : machines à vecteurs de support (SVM) combinant des variables de lisibilité et de fluidité, wav2vec et CamemBERT. Pour identifier le meilleur modèle, nous évaluons l’impact des caractéristiques linguistiques et prosodiques ainsi que du style de parole(dialogue ou monologue) sur les performances. Nos expériences montrent que les variables de fluidité améliorent la précision du modèle et que cette précision est différente par style de parole. Enfin, les performances de tous les modèles varient selon les niveaux du CECR.

## introduction la compréhension orale est une activité langagière dynamique activement impliquée dans l'interprétation. le développement de cette compétence est directement lié à l'acquisition de la compétence langagière en général : si la compréhension orale ne progresse pas, cela peut nuire à la bonne communication dans des situations authentiques @xcite . pour soutenir son développement chez les apprenants de langue étrangère, il est courant de faire écouter divers documents audios dans le cadre d'exercices de compréhension à l'audition. l'efficacité de documents audio-visuels authentiques est bien établie @xcite , mais leur utilisation en contexte de classe reste difficile, car il est ardu de juger de l'adéquation de ce type de documents audios au niveau de compétence linguistique des apprenants. une solution pour faire face à cette difficulté pratique pourrait consister à se reposer sur des modèles d'intelligence artificielle capables d'évaluer automatiquement le niveau de difficulté de documents oraux, sur le modèle de ce qui est fait en évaluation automatisé de la lisibilité des documents écrits. si les travaux en lisibilité se sont imposés comme une des thématiques du tal @xcite , ceux sur la facilité d'écoute (ou listenability, en anglais) sont nettement moins nombreux, en particulier en français. les objectifs de cette étude sont doubles. tout d'abord, le principal objectif est de développer un modèle capable de prédire automatiquement le niveau de facilité d'écoute de documents audios en français. à notre connaissance, un tel modèle n'existant actuellement pas en français, il s'agit déjà d'une contribution significative. dans cette optique, deux questions émergent. d'une part, quelle est la meilleure façon d'encoder les caractéristiques stylistiques des documents oraux ? pour y répondre, nous comparerons l'apport de variables linguistiques définies par des experts et combinées à l'aide de machines à vecteur de support (svm) à l'utilisation de l'architecture transformer et camembert @xcite qui représente le contenu des documents audios à l'aide de plongements de mots. d'autre part, quel est l'apport de variables prosodiques ? en effet, la grande majorité des travaux en facilité d'écoute se limitent à prédire la difficulté sur la base de la transcription et de variables calculées sur le texte, sans prendre en compte les caractéristiques spécifiques à l'oralité. nous comparerons donc ces deux approches au sein de nos modèles, encodant les caractéristiques prosodiques soit à l'aide de variables incluses dans les svm, soit en tirant profit de l'architecture wav2vec @xcite . le second objectif de cet article vise à évaluer l'impact du style de parole sur les performances des modèles précités. nous disposons d'une variété de documents oraux que nous regroupons simplement selon deux styles de parole : le dialogue et le monologue. nous examinons si les performances des modèles diffèrent en fonction de la présence ou de l'absence d'un interlocuteur dans le discours. cet article propose d'abord une vue d'ensemble de la notion centrale de la facilité d'écoute dans la section 2, suivie de la description de la méthodologie de recherche dans la section 3. il présente et compare ensuite les résultats des modèles svm, de wav2vec et de camembert dans la section 4, avant de conclure. ## le domaine de la facilité d'écoute plusieurs définitions de la facilité d'écoute ont été proposées jusqu'à présent @xcite @xcite . en tenant compte de ces définitions, dans cet article, le terme facilité d'écoute est défini comme la facilité ou la difficulté qu'un auditeur donné -avec son expérience spécifique -éprouve à comprendre un discours oral dans une situation de communication particulière, laquelle est fonction de l'effet des caractéristiques stylistiques de ce discours (ex. lexicale, syntaxique, prosodique, etc.) sur les processus cognitifs de l'auditeur. en tant que domaine de recherche, la facilité d'écoute s'est principalement développée en langue anglaise. dans les années 1940, ce champ a été initié par l'application des modèles issus des études de lisibilité à l'analyse des transcriptions de la langue orale @xcite . par la suite, les travaux continuent à évaluer la facilité d'écoute sur la base de transcriptions et avec des formules de lisibilité développées pour l'écrit @xcite . toutefois, peu à peu, des formules spécifiques à l'oral apparaissent. des recherches @xcite @xcite conçoivent des modèles directement sur des données orales, mais ils ne prennent toujours en compte que des variables liées au contenu (longueur des phrases, des mots, proportion de mots polylexicaux, etc.) et les observent sur des transcriptions. au niveau de la facilité d'écoute dans le contexte spécifique des apprenants, il y a une recherche qui utilisent la régression multiple pour combiner une série de variables de contenu afin de prédire la difficulté subjective de compréhension orale des phrases anglaises, évaluée par 90 apprenants japonais de l'anglais @xcite . le coefficient de corrélation multiple r de l'équation atteint seulement 0,54. c'est avec les travaux de @xcite que, en complément des variables de contenu, des caractéristiques phonologiques sont enfin considérées, à savoir le débit de parole, le taux d'élision 1 , de réduction foot_0 , de contraction foot_1 , de liaison foot_2 et de déduction foot_3 dans une phrase. la présence de coefficients de régression négatifs pour le taux de contraction et de déduction suggère que des variations phonologiques peuvent accroître la facilité d'écoute pour les apprenants. parallèlement, il y a une recherche qui examine dans quelle mesure le débit de parole, la complexité linguistique et l'explicitation (le degré d'expression explicite des idées) du texte influent sur la compréhension orale en l2 @xcite . les auteurs utilisent des analyses de rasch et de régression pour estimer la difficulté de 18 tâches et sa relation avec les caractéristiques du texte. les résultats démontrent que des indices de complexité lexicale et discursive expliquent une part significative de la difficulté des tâches de compréhension orale. enfin, plus récemment, les arbres de décision @xcite ou les machines à vecteurs de support (svm) @xcite ) ont été utilisés. néanmoins, toutes les recherches susmentionnées ont été menées en anglais. en ce qui concerne la langue française, les investigations sont très restreintes aux travaux de @xcite @xcite . de plus, un outil est aussi disponible pour l'évaluation automatique des textes oraux, deepfle foot_4 , mais il reste encore limité à l'analyse des transcriptions et n'intègre pas de variables prosodiques. enfin, l'utilisation de représentations latentes (ex. plongements de mots) et de wav2vec plutôt que des variables ne semble pas avoir encore été envisagé dans ce domaine. ## méthodologie dans cet article, nous cherchons à évaluer l'apport de variables linguistiques et prosodiques à un modèle de facilité d'écoute pour le français, mais posons également la question de savoir si les représentations latentes du contenu ne sont pas préférables à des variables définies par des experts, comme cela a déjà été établi en lisibilité @xcite . cette section commence par décrire les données utilisées pour entraîner nos modèles, puis décrit les différentes variables « expert » considérées, avant de se clôturer avec une présentation des différents modèles évalués. ## analyse des variables et des modèles dans cette section, nous présentons d'une part une analyse corrélationnelle des 68 variables à la section 4.1, puis les résultats des différents modèles (svm-f, svm-l, svm-fl, camembert et wav2vec) à la section 4.2.