Augmentation des données par LLM pour améliorer la détection automatique des erreurs de coordination (2025)

Abstract: Afin d’améliorer les performances d’un outil de détection automatique des erreurs de coordination, cette étude explore l’utilisation de grands modèles de langage (LLM) pour remédier au déséquilibre des classes et à la limitation des données. En générant des phrases erronées simulées par un LLM pour former un corpus synthétique, nous améliorons la détection d’une classe sous-représentée ainsi que les performances globales du modèle. Nous étudions également l’application des LLM à l’annotation des données, avec pour objectif d’intégrer ces annotations à l’entraînement afin d’optimiser l’apprentissage du modèle.

## introduction dans le cadre du projet écri+ (pia n°anr-17-ncun-0015), cette étude vise à améliorer un outil de détection automatique des erreurs de coordination dans les rédactions d'étudiants universitaires. l'outil identifie ces erreurs et fournit des messages pour guider les étudiants dans leur correction, améliorant ainsi leurs compétences rédactionnelles. les travaux existants @xcite fournissent une base théorique et technique solide pour le développement de cet outil. dans ces travaux, des approches classiques d'apprentissage automatique ainsi que d'apprentissage profond basé sur camembert @xcite et sur flaubert @xcite , ont été explorées afin d'obtenir des modèles capables de détecter automatiquement ces erreurs. il s'agissait de deux types de tâches d'entraînement : une tâche de classification binaire visant à déterminer si une phrase contient une erreur de coordination, et une tâche de classification multi-label destinée à identifier précisément le type d'erreur. les résultats de @xcite ont montré que le modèle de classification binaire basé sur l'apprentissage profond a obtenu des performances satisfaisantes. cependant, des améliorations significatives restent nécessaires pour la classification multi-label. les problèmes liés à la carence de données et au déséquilibre des catégories constituent des défis majeurs pour l'optimisation des modèles. ces dernières années, de grands modèles de langue (angl., large language model -llm, comme gpt-4, llama, etc.) ont connu un grand succès. nous estimons qu'ils pourraient offrir de nouvelles perspectives pour surmonter ces difficultés. d'une part, des travaux ont déjà été menés sur la construction de corpus synthétiques à l'aide de la génération de textes par des llm @xcite , notamment utilisée dans la classification de textes @xcite . d'autre part, les llm sont également utilisés pour l'annotation automatique des données @xcite . cette approche permet d'enrichir les corpus existants tout en réduisant les coûts de main-d'oeuvre associés à l'annotation manuelle. le travail présenté dans cet article couvre deux directions. la première consiste à augmenter les données en utilisant un llm pour générer des phrases avec des types d'erreurs spécifiés, afin d'entraîner des modèles fondés sur camembert. l'autre direction concerne une première exploration de l'utilisation des llm pour la tâche d'annotation de corpus. nos tâches ont ceci de particulier qu'elles visent des données ayant des caractéristiques syntaxiques spécifiques. en effet, les travaux sur l'augmentation des données pour des tâches spécifiques à la syntaxe sont moins nombreux et nécessitent une mise à jour. en plus d'améliorer les performances de nos propres modèles, nous espérons également explorer les capacités des llm pour générer et identifier des erreurs syntaxiques spécifiques. dans le cadre de leur formation, les étudiants sont amenés à produire certains types d'écrits, dont les phrases visent à expliciter un sujet. or, ce contexte rédactionnel est propice à l'émergence de différents problèmes syntaxiques relatifs à la coordination. ainsi, noreskal (2022) relève que les erreurs de coordination sont fréquentes dans des phrases longues et complexes. les erreurs de coordination peuvent affecter la grammaticalité de la phrase, mais génèrent aussi des ambiguïtés, ou des incertitudes, entraînant des difficultés de lisibilité et de compréhension. l'auteur a analysé les erreurs et proposé une typologie, divisant les erreurs de coordination en neuf types. l'exemple 1 appartient au type mauvaise cohérence des groupes syntaxiques. ce type d'erreur survient lorsqu'on observe que les éléments coordonnés ne respectent pas le parallélisme. on constate que le verbe « parler » n'est pas compatible avec « que » dans la phrase. l'exemple 2 appartient aux types structure lourde et absence de ponctuation. la phrase est lourdement chargée d'informations, ce qui nuit à sa lisibilité, et manque de ponctuation pour la segmentation. en outre, les autres types sont les suivants : erreur de préposition dans les conjoints sauf le premier (remplacement d'une préposition par une autre, préposition non attendue et absence de préposition), grande distance entre conjoints, mauvais accord sujet-verbe et autre (cas particuliers). ## conclusion et perspectives cette étude explore deux approches visant à améliorer les performances d'un outil de détection des erreurs de coordination, en répondant aux défis du déséquilibre des classes et du volume limité de corpus annotés. la première approche repose sur l'augmentation des données afin d'améliorer les performances du modèle fondé sur camembert. concrètement, nous avons utilisé un llm pour générer artificiellement des phrases erronées en imposant la reproduction de types spécifiques d'erreurs. ces phrases ont ensuite été intégrées au corpus original afin d'établir un corpus synthétique. grâce à cette méthode, nous avons pu équilibrer la distribution des erreurs. les résultats expérimentaux montrent une progression significative : le score lrap en classification multi-label est passé de 0,74 à 0,81 ; le score f1 de la catégorie mcgs est passée de 0,33 à 0,81. toutefois, comme l'a souligné dans @xcite , il n'existe actuellement pas de métrique standardisée permettant d'évaluer la qualité des