Étude des facteurs affectant la compréhensibilité de documents multimodaux : une étude expérimentale (Factors affecting the comprehensibility of multimodal documents : an experimental study ) (2020)

Abstract: La compréhensibilité de documents audiovisuels peut dépendre de facteurs propres à l’auditeur/spectateur (ex. langue maternelle, performances cognitives) et de facteurs propres aux contenus des documents (ex. complexité linguistique, intelligibilité de la parole). Dans ces travaux, nous étudions les effets de facteurs propres aux contenus sur la compréhensibilité de 55 dialogues extraits de films, présentés à 15 experts (enseignants de français langue étrangère) selon cinq modalités différentes (transcription, transcription + audio, audio, audio + vidéo, transcription + audio + vidéo). Les experts ont évalué les dialogues en termes de compréhensibilité générale, de complexité du vocabulaire, de complexité grammaticale, et d’intelligibilité de la parole. L’analyse de leurs évaluations montre que (1) la complexité du vocabulaire, la complexité grammaticale, et l’intelligibilité de la parole sont significativement corrélées à la compréhensibilité générale, et (2) que les évaluations de compréhensibilité générale ont tendance à être plus élevées lors de présentations multimodales.

## introduction le développement et la popularisation des plateformes de vidéo à la demande a eu un impact majeur sur la diffusion de contenus audiovisuels. la compréhension de contenu est un élément clef pour favoriser l'accessibilité à ces collections massives de documents audiovisuels. il est possible de classer du contenu audiovisuel par genre, et il existe également des labels permettant de définir l'âge minimum conseillé pour regarder une vidéo, mais aujourd'hui il n'existe pas de classification permettant d'indiquer à quel point un document audiovisuel est compréhensible pour un public donné. en effet, ce type de document peut être perçu comme plus ou moins compréhensible selon la personne qui y a accès (personnes âgées, enfants, étrangers...). dans ce contexte, il est intéressant d'étudier si ce type de classification est envisageable. cet article traite de la compréhensibilité de contenu audiovisuel, plus spécifiquement de la difficulté potentielle de compréhension qui peut leur être associée, qui sera appelée par la suite « difficulté globale ». dans un premier temps, la difficulté globale sera abordée principalement dans le cadre de l'apprentissage des langues. les objectifs de notre étude sont : (1) d'étudier de quelle façon les humains perçoivent la difficulté globale de contenus audiovisuels (2) de savoir ce qui influence cette difficulté entre la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité de la parole (c'est-à-dire à quel point la parole est facile à percevoir) et puis (3) de savoir si l'accès aux différentes modalités (vidéo, audio et texte) prises séparément ou combinées, joue un rôle sur la perception humaine de la difficulté globale. ## etudes autour de la compréhensibilité de documents la compréhensibilité de documents, que ce soit de documents écrits, audio ou audiovisuels, a fait l'objet de nombreuses études. la grande majorité a cependant porté sur la compréhensibilité de textes et de documents audio plutôt que sur les contenus audiovisuels. dans cette partie, nous présentons les éléments les plus souvent dégagés par les études comme étant des facteurs de complexification ou de facilitation de la compréhension orale. tout d'abord, il est important d'aborder des aspects linguistiques : il a en effet été démontré très tôt que le vocabulaire et la grammaire (notamment la syntaxe), jouaient un rôle prépondérant dans la compréhension écrite et orale. les premières preuves ont été apportées dans des études portant sur la lisibilité (readability), qui prennent en compte les aspects linguistiques et conceptuels d'un texte pour évaluer sa difficulté globale. de nombreuses formules de lisibilité, prédisant la difficulté des textes, font appel à des descripteurs liés à la difficulté du vocabulaire et à la complexité grammaticale. les formules les plus connues sont celles de lively et pressey @xcite , flesch @xcite et la formule (revisitée) de dale et chall @xcite pour l'anglais, et la formule de henry @xcite pour le français. ces formules utilisent notamment des variables liées à la fréquence d'occurrence des mots, à la longueur des phrases et des mots ou à la diversité lexicale du texte. les nouvelles techniques d'apprentissage informatique (machine learning) ont permis d'aller beaucoup plus loin dans cette voie en analysant un grand nombre de descripteurs dérivés du texte afin d'obtenir de nouvelles formules. cependant les nouvelles formules proposées par les linguistes construisant continuent toujours à faire appel à des variables liées aux complexités grammaticales et de vocabulaire @xcite . tout comme pour la compréhension écrite, les connaissances linguistiques jouent un rôle prépondérant dans la compréhension orale, que ce soit pour la compréhension orale de la langue native ou étrangère @xcite : des connaissances en vocabulaire et grammaire étant nécessaires pour décoder le contenu. le lien de ces complexités avec la difficulté de compréhension orale a été montré à plusieurs reprises @xcite . mais si la complexité intrinsèque du message est importante, sa vocalisation comporte également des aspects important pour la compréhension orale. pour l'anglais l'emphase et l'intonation peuvent être déterminantes pour la compréhension du message @xcite en aidant à insister sur les mots importants. le débit de parole ou l'accent d'un locuteur peuvent également affecter la compréhension @xcite . un débit rapide peut également être une complication pour la compréhension des non natifs @xcite . les pauses et les hésitations (aussi appelées disfluences) ont des effets qui varient selon les auditeurs, elles peuvent être informatives pour les auditeurs natifs @xcite ou porter préjudice à la compréhension des non natifs @xcite . chang et read ont étudié l'impact des accents sur la compréhension orale @xcite et ont conclu que la compréhension des auditeurs était affectée par la présence d'accents qui ne leur sont pas familiers. l'environnement sonore a lui aussi un impact sur la difficulté perçue.dans l'étude de boyle @xcite , plusieurs professeurs le citent comme un élément important dans la compréhension orale en l1 et l2. les auditeurs natifs peuvent rencontrer plus de difficultés à comprendre un document audio si les conditions sonores sont mauvaises @xcite . les effets de l'environnement sonore sont encore plus importants pour des auditeurs non natifs qui sont confrontés à la fois aux conditions d'écoute dégradées et à leurs potentielles lacunes dans la langue cible. les études concernant la compréhension de contenus audiovisuels sont moins nombreuses, mais, si l'influence des aspects linguistiques sur la compréhension de contenus audiovisuels n'a visiblement pas été étudiée, on trouve des études s'intéressant à l'influence des sous-titres sur la compréhension de documents audiovisuels. ce sujet a tout son intérêt dans le cadre de l'apprentissage des langues. plusieurs tests menés pour déterminer si les sous-titres sont bénéfiques ou nuisibles pour la compréhension, ont principalement conclu que les sous-titres avaient un effet positif en accroissant la compréhension. @xcite . dahl a mené une étude qui a souligné l'importance des gestes dans la facilitation de la compréhension orale l1 et l2 @xcite : même si les locuteurs natifs et non natifs ne les exploiteront pas de la même façon, les gestes les aideront à atteindre une meilleure compréhension. en partant de ces observations, l'hypothèse peut être faite que les gestes peuvent faciliter la compréhension des contenus audiovisuels. l'accès à des vidéos qui contiennent des gestes et des indices visuels permet effectivement aux apprenants en langue seconde à mieux réussir la tâche de compréhension orale @xcite . les recherches sur la compréhension de contenu ont mis en avant l'influence des aspects linguistiques sur la compréhension, que ce soit pour la compréhension écrite et orale. elles ont aussi montré que la qualité de production de la parole (la prosodie, le débit....) et l'environnement sonore ont une influence sur la compréhension de contenu audio. pour les contenus audiovisuels, la présence d'indices visuels et de sous-titres apparaissent comme des facilitateurs pour la compréhension. notre étude s'intéresse aux aspects inhérents aux documents audiovisuels qui affectent la compréhension orale : la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité de la parole. ## résultats cette partie traite, dans un premier temps, de l'influence de la complexité du vocabulaire, de la complexité grammaticale et de l'intelligibilité sur la difficulté globale. la dernière partie étudie l'influence des modalités sur la difficulté globale perçue et l'intelligibilité de la parole. la diversité dans la perception des experts pouvant mettre en évidence des facteurs intéressants pour la suite de l'étude, nous n'avons pas procédé à des accords inter-annotateurs.