Utilisation d’indices phraséologiques pour évaluer des textes en langue étrangère : comparaison des bigrammes et des trigrammes (Collocation measures and automated scoring of foreign language texts : Comparing bigrams and trigrams) (2017)

Abstract: Cette recherche a pour principal objectif d’évaluer l’utilité de prendre en compte des mesures totalement automatiques de la compétence phraséologique pour estimer la qualité de textes d’apprenants de l’anglais langue étrangère. Les analyses, menées sur plus de 1000 copies d’examen du First Certificate in English, librement mises à disposition par Yannakoudakis et coll., confirment que l’approche qui consiste à assigner aux bigrammes et aux trigrammes de mots présents dans un texte des scores d’association collocationnelle calculés sur la base d’un grand corpus de référence natif est particulièrement efficace. Si les indices extraits des trigrammes sont moins efficaces que ceux extraits des bigrammes, ils apportent une contribution utile à ces derniers. Les analyses soulignent aussi les bénéfices apportés par un emploi simultané de plusieurs mesures d’association collocationnelle.

## introduction et état de l'art la mise au point et le déploiement de systèmes automatiques capables d'évaluer efficacement les compétences rédactionnelles en langue apprise sont l'objet d'intenses recherches depuis de nombreuses années en tal @xcite . ces systèmes se basent classiquement sur des indices linguistiques corrélés avec la qualité du texte. par exemple, e-rater, développé par l'educational testing service (ets), emploie des caractéristiques lexicales (longueur des mots), stylistiques (phrases très courtes ou emploi du passif) et structurelles (présence d'une introduction et d'une conclusion) ainsi que la présence d'erreurs syntaxiques (mauvaise préposition, problème d'accord sujet-verbe...), typographiques (ponctuation, emploi de majuscules) et orthographiques @xcite . dans ces systèmes, la dimension phraséologique du langage est très largement négligée. or, l'importance des unités préformées dans l'emploi du langage est bien établie @xcite . si certaines de ces séquences relèvent de l'approche traditionnelle en phraséologie, se signalant par leur figement et leur opacité, la très grande majorité de celles-ci sont des manières habituelles de s'exprimer comme dramatic increase, committed suicide, depend on, such as, by the way ou encore as far as i know @xcite . cette dimension phraséologique du langage a d'importantes conséquences en linguistique (pour une synthèse voir les volumes 32 de l'annual review of applied linguistics (2012) et 189 de langages (2013)) et en traitement automatique du langage (pour une synthèse, voir @xcite . tout particulièrement, elle est une composante majeure de l'apprentissage d'une langue étrangère comme l'ont montré de nombreuses études en linguistique appliquée. elle permet de distinguer les locuteurs natifs des non-natifs et l'emploi d'expressions phraséologiques par des apprenants évolue en parallèle avec la compétence en langue apprise @xcite . en traitement automatique de textes d'apprenants d'une langue étrangère, les expressions phraséologiques ont presque exclusivement été employées dans le cadre de la détection d'erreurs où elles se sont d'ailleurs montrées extrêmement efficaces @xcite . la méthode employée est inspirée d'une approche développée pour identifier les erreurs grammaticales dans les textes. elle signale comme potentiellement problématique les séquences de mots qui sont improbables lorsqu'on les compare à celles qui se trouvent dans un grand corpus natif @xcite . ces séquences peuvent être des erreurs grammaticales, mais aussi des juxtapositions de mots atypiques. dans le cadre plus spécifique de l'évaluation automatique de la qualité de texte, une variable indicatrice de l'emploi adéquat d'expressions phraséologiques, obtenue de cette manière, a été incluse dans e-rater, mais son utilité pour estimer la qualité d'un texte est très limitée @xcite . récemment toutefois, @xcite et @xcite ont mis en évidence les bénéfices apportés par des indices phraséologiques pour évaluer automatiquement des phrases produites à partir de deux mots et d'une image et de brèves narrations produites à partir d'une série d'images. @xcite et @xcite ont abouti aux mêmes conclusions en appliquant une approche très similaire à des textes de différents genres (essais argumentatifs, lettres, histoires rédigées en réponse à un énoncé). l'approche employée dans ces travaux présente trois caractéristiques importantes. tout d'abord, elle utilise un grand corpus de référence natif pour essayer de déterminer parmi les séquences de plusieurs mots (n-grammes) présentes dans un texte d'apprenant celles qui sont typiques de la langue de celles qui sont peu ou pas appropriées. elle supplée ainsi à l'évaluation manuelle des séquences, basée sur des dictionnaires ou sur l'avis de locuteurs natifs, habituellement employée en linguistique appliquée @xcite . comme mentionnée ci-dessus, l'utilisation d'un corpus de référence natif était déjà une des approches employées en tal pour identifier des erreurs dans des textes @xcite . en traductologie, bernardini (2007) a également employé un corpus de référence natif pour identifier des paires de mots collocationnelles dans des textes traduits et non traduits. le recours à un corpus natif distingue aussi ces travaux de la simple prise en compte de la fréquence des bigrammes de mots dans des textes d'apprenants comme l'ont proposé @xcite . l'approche développée par ces auteurs pour estimer la qualité d'un texte est basée sur l'extraction automatique d'un grand nombre d'indices linguistiques des plus simples comme les fréquences des unigrammes et bigrammes de mots aux plus complexes comme des indices extraits d'une analyse syntaxique des phrases ou reflétant la cohérence et la cohésion des textes. le modèle prédictif proprement dit est construit par une procédure d'apprentissage supervisé (voir section 3.3). dans leur étude, @xcite ne font pas référence à la compétence phraséologique, mais les bigrammes de mots qu'ils utilisent sont évidemment liés à celle-ci. ensuite, pour évaluer le caractère plus ou moins typique d'une séquence de mots dans la langue, l'approche se base sur des indices d'association collocationnelle comme l'information mutuelle (im) ou le score-t @xcite , qui sont obtenus à partir des fréquences d'occurrences dans le corpus de référence. ils permettent de ne pas se fier exclusivement à la fréquence de la séquence dont on sait qu'elle peut être trompeuse parce qu'une séquence peut-être observée fréquemment dans un corpus, non en raison de sa nature phraséologique, mais parce qu'elle est composée de mots très fréquents @xcite . inversement, une séquence relativement rare, composée de mots eux aussi rares, peut être typique de la langue. enfin, un ensemble d'indices statistiques sont extraits des scores d'association collocationnelle assignés aux n-grammes présents dans un texte à analyser. il s'agit de statistiques globales, comme la moyenne ou le maximum, ainsi que de la proportion de scores d'association se situant dans des intervalles donnés. l'intérêt majeur d'une discrétisation des distributions de scores est qu'elle permet d'extraire des informations utiles même lorsque la relation entre ces scores et la qualité des textes n'est pas linéaire ou même monotone. @xcite ont ainsi observé que les meilleurs textes d'apprenant contiennent plus de bigrammes ayant un score t moyen et moins de bigrammes ayant un score t faible ou élevé. cette observation peut être mise en relation avec le fait que les bigrammes ayant des scores t faibles sont souvent des formulations erronées et que les scores élevés correspondent à des bigrammes extrêmement courants dans la langue comme of the dont l'emploi pose peu de problèmes à l'apprenant. @xcite et @xcite ont employé cette approche pour analyser de brèves productions orales. ils ont affecté aux bigrammes et aux trigrammes présents dans les réponses orales retranscrites par un système automatique les scores im calculés sur la base de google 1t web corpus. ils ont discrétisé les distributions des scores en huit intervalles déterminés manuellement comme @xcite ], ]-20,-10], ou ]-1,0]. utilisant une procédure d'apprentissage supervisé, ils ont observé que ces indices étaient très efficaces pour évaluer les réponses des apprenants, même lorsqu'ils sont comparés à une approche état de l'art basée principalement sur des traits acoustiques extraits automatiquement. @xcite a extrait les bigrammes présents dans des textes de 200 à 400 mots du cambridge learner corpus, un corpus mis librement à disposition par @xcite . il a analysé huit indices d'association collocationnelle différents ainsi que la combinaison de ceux-ci et les a discrétisés au moyen d'une procédure automatique. utilisant également une procédure d'apprentissage supervisé, il a montré qu'employer simultanément une série d'indices d'association produit de meilleures performances que leur emploi isolé et que discrétiser les distributions de scores d'association est bénéfique. il a aussi observé qu'une discrétisation en 8 à 50 intervalles est optimale. ## questions de recherche si ces études ont employé la même approche, elles se distinguent sur deux points importants : enfin, l'information mutuelle, la mesure largement privilégiée dans ces études, a été fréquemment critiquée en raison de sa tendance à privilégier des expressions très rares et les difficultés posées par sa généralisation à des séquences de plus de deux mots ont été soulignées @xcite pour une analyse approfondie). l'efficacité de ces mesures, mais aussi des autres mesures employées par @xcite , lorsqu'elles sont appliquées aux trigrammes, mérite donc d'être analysée. tout particulièrement, on peut se demander si la simple fréquence d'occurrence de la séquence, qui est un indice d'association peu fiable dans le cas des bigrammes comme rappelé ci-dessus, ne devient pas un indice compétitif dans le cas des trigrammes parce que plus une séquence est longue, moins elle est susceptible de se produire par hasard, même quand elle est composée de mots fréquents. une réponse positive à cette question s'accorderait avec l'approche classiquement employée en linguistique appliquée pour étudier les expressions conventionnelles qui est basée sur les paquets lexicaux (lexical bundles), définis comme des n-grammes de plus de deux mots identifiés sur la base de ce critère de fréquence @xcite . les sections suivantes tentent de répondre à ces questions en comparant l'efficacité, pour prédire la qualité de textes, de mesures d'association obtenues à partir des bigrammes et des trigrammes de mots. cette efficacité sera aussi comparée à celle atteinte par des niveaux de base composés d'ensembles de n-grammes auxquels aucun score d'association n'est attribué.