Peut-on évaluer la compréhensibilité de la parole sans référence quant aux intentions de communication du locuteur ? Une étude auprès d’apprenants germanophones de FLE (2024)

Abstract: En didactique des langues étrangères, la compréhensibilité des énoncés produits par les apprenants est le plus souvent évaluée de manière subjective, à l’aide d’échelles qualitatives. Très souvent, ces évaluations sont menées sans que l’évaluateur ne soit informé du contenu sémantique du message que souhaitait transmettre l’apprenant. L’évaluateur peut donc ignorer des divergences entre ce dernier et sa propre interprétation de l’énoncé – avec pour conséquence une surestimation de la compréhensibilité. Dans cette étude, nous vérifions l’existence d’un tel biais en demandant à 80 francophones natifs d’évaluer la compréhensibilité d’énoncés produits par neuf apprenants germanophones de français lors d’une tâche de traduction. L’évaluation est conduite sans référence (condition « a priori »), et en prenant connaissance d’une traduction de référence (condition « a posteriori »). Les résultats démontrent que les scores de compréhensibilité sont significativement plus élevés dans la condition a priori que dans la condition a posteriori, avec une taille d’effet importante.

## introduction en didactique des langues étrangères (l2), il a pendant longtemps été considéré que l'objectif ultime de l'enseignement était, pour l'apprenant, d'atteindre le niveau de compétence d'un locuteur natif, et ce y compris au niveau phonético-phonologique -avec la production d'une parole parfaitement intelligible, sans qu'aucun accent étranger ne soit perceptible @xcite . cependant, il s'agit là d'un objectif que très peu d'apprenants parviennent à réaliser, en particulier lorsque le processus d'acquisition débute après l'enfance @xcite . peu à peu, cette perspective a donc évolué et la majorité des didacticiens considèrent aujourd'hui qu'il est bien plus important pour l'apprenant de parvenir à une bonne compréhensibilité lors d'interactions avec les locuteurs de la communauté cible que de parvenir à s'exprimer « sans accent » et avec un niveau de performance égal à celui d'un locuteur natif @xcite . par conséquent, dans le domaine de l'acquisition/apprentissage des langues, la performance des locuteurs est souvent évaluée à travers la compréhensibilité des énoncés qu'ils produisent dans la langue cible. pour cela, la méthode la plus utilisée (le « gold standard » actuel) consiste à demander à des auditeurs natifs de la l2 d'évaluer le degré de difficulté qu'ils éprouvent à comprendre lesdits énoncés @xcite . de nombreuses études ont ainsi recours à des échelles perceptives d'évaluation de la compréhensibilité, appliquées à l'évaluation d'énoncés produits dans des tâches de production orale plus ou moins contraintes : de la lecture oralisée @xcite à la parole recueillie durant des tâches de production plus spontanées comme des tâches d'argumentation @xcite . demander à un auditeur d'estimer, sur une échelle, le degré de difficulté qu'il a éprouvé pour comprendre un message suppose que celui-ci connaisse les intentions de communication du locuteur, autrement dit, qu'il connaisse le contenu sémantique, discursif, voire pragmatique, que le locuteur souhaitait véhiculer avec son message @xcite . or, dans une grande partie des travaux en l2, les auditeurs évaluent la compréhensibilité sans aucune connaissance quant au contenu du message que le locuteur souhaitait transmettre. c'est en particulier le cas pour les études reposant sur des énoncés produits dans des tâches de production orale (semi-)spontanées, pour lesquelles il n'existe pas de « script » correspondant aux énoncés que l'apprenant devait réaliser. cependant, cette méthode est aussi appliquée pour l'évaluation de la parole lue. pour illustration, la le fait que l'auditeur ne dispose d'aucune information quant au message que l'apprenant souhaitait transmettre peut représenter un biais pour l'évaluation de la compréhensibilité de la parole. en effet, les « erreurs » de prononciation, de choix lexicaux, ou de constructions morphosyntaxiques commises par les apprenants peuvent conduire à la production d'énoncés pouvant être perçus par les évaluateurs comme étant tout à fait corrects. dans ce cas, ces énoncés peuvent recevoir des scores de compréhensibilité élevés, même s'ils ne correspondent pas aux messages que les apprenants souhaitaient transmettre. pour prendre le seul exemple d'une erreur de prononciation, il est possible qu'un apprenant produise une phrase perçue comme « je veux deux cafés », alors qu'il souhaitait dire « je veux du café », mais que la réalisation du déterminant « du » (/dy/) soit perçue comme « deux » ([dø]) à cause de son système interphonologique. dans ce cas, si l'évaluateur ne connaît pas le message que souhaitait transmettre l'apprenant, il pourra alors sous-estimer sa difficulté à comprendre l'énoncé. étude tâche de production orale outil d'évaluation de la compréhensibilité bergeron & trofimovich (2017) parole spontanée (narration d'histoire imagée et entretien semi-dirigé) échelle continue crowther et al. (2015) parole spontanée (narration d'histoire imagée) échelle continue hansen edwards et al. (2018) lecture de texte parole spontanée (entretien semi-dirigé) échelle à 9 points kang (2010) parole spontanée (entretien semi-dirigé) échelle à 7 points kennedy & trofimovich (2008) lecture oralisée de phrases échelle à 9 points ludwig & mora (2017) lecture oralisée de phrases échelle à 7 points nagle & huensch (2020) parole spontanée (entretien semi-dirigé) échelle continue saito et al. (2017) parole spontanée (narration d'histoire imagée) échelle continue saito et al. (2023) parole spontanée (description d'image) échelle à 9 points suzukida & saito (2021) parole spontanée (narration d'histoire imagée) échelle à 9 points ## conclusion et discussion cette étude avait pour premier objectif de vérifier si l'absence de référence quant aux intentions de communication d'un locuteur pouvait constituer un biais lors de l'évaluation de la compréhensibilité de la parole d'énoncés correspondant à des traductions orales de phrases cibles. plus précisément, nous supposions que, sans une telle référence, les évaluateurs auraient tendance à surestimer leur propre compréhension, dans la mesure où ils ne peuvent avoir conscience de divergences d'ordre sémantique entre le message perçu et le message que souhaitait transmettre le locuteur. cette hypothèse a été confirmée par la mise au jour d'une différence significative entre les évaluations de compréhensibilité réalisées a priori et celles réalisées a posteriori, c'est-à-dire après la prise de connaissance d'une traduction de référence -les premières étant supérieures aux secondes. la taille (moyenne) de l'effet observé n'est pas négligeable, ce qui souligne d'autant plus l'enjeu que peut représenter un tel biais dans les études reposant sur des mesures de compréhensibilité obtenues par des méthodes d'évaluation a priori. il est néanmoins utile de rappeler que l'effet observé correspond à une tendance générale, observée à travers les différents énoncés produits par neuf apprenants germanophones, et dont la compréhensibilité a été évaluée par 80 auditeurs différents. ceux-ci ont parfois également sous-évalué leur compréhensibilité lors de la condition a priori. cette sous-évaluation représente toutefois une minorité de cas (18,8%) en comparaison des phénomènes de surévaluation (81,2%). notre seconde hypothèse était que les accords inter-évaluateurs seraient plus élevés dans la condition d'évaluation a posteriori que dans celle a priori, dans la mesure où disposer d'une référence commune devrait contribuer à l'harmonisation des évaluations. malgré le calcul d'un nombre important d'accords (40), cette hypothèse n'a pas été confirmée par les statistiques inférentielles. il est possible que le faible nombre de productions pour lesquels ces accords ont été calculés (9) n'ait pas permis d'obtenir des coefficients de corrélation suffisamment fiables pour mettre au jour une telle différence. nous prévoyons, à terme, de mener une étude similaire incluant l'évaluation de 40 énoncés produits par 40 locuteurs japonophones de fle (de fino, 2024) afin de dépasser cette limite.