Analyse de la littérature sur les stratégies d’augmentation de données dans des contextes à faible ressources (2025)

Abstract: Les grands modèles de langage (LLMs) ont révolutionné le traitement automatique des langues (TAL), mais leur succès demeure largement limité aux domaines généralistes disposant de ressources abondantes. En revanche, l’application des LLMs à des domaines spécialisés à faibles ressources soulève des défis majeurs liés à la rareté des données d’entraînement, à la dérive de domaine et aux contraintes terminologiques strictes. Cette revue propose un état de l’art des approches actuelles pour le question-réponse (QA) en contexte spécialisé et à faibles ressources avec les LLMs. Nous commençons par analyser la couverture et la représentativité des jeux de données de QA spécialisés en les comparant à de grands ensembles de référence, que nous appelons ParentQA . Sur la base de cette analyse, nous passons en revue les stratégies centrées sur les données visant à accroître la diversité des entrées, notamment à travers des techniques d’augmentation. Nous abordons également les métriques d’évaluation adaptées aux tâches spécialisées et les considérations éthiques associées. En cartographiant les méthodologies existantes et en identifiant les questions de recherche ouvertes, cette étude vise à orienter les futurs travaux sur l’adaptation des LLMs pour une utilisation robuste et responsable dans des environnements contraints en ressources et spécifiques à un domaine.

## introduction au fil des années, les grands modèles de langue (llm) @xcite @xcite ont démontré des performances remarquables dans diverses tâches de traitement du langage naturel (tal). cependant, ces avancées restent essentiellement limitées aux domaines pour lesquels les ensembles de données sont disponibles, proposant des corpus d'entraînement massifs @xcite . en revanche, les ensembles de données à faible ressource @xcite présentent des défis majeurs pour les llm en raison de la rareté des données et de leur sous-représentation. le manque de données en quantité et en qualité suffisantes engendre des lacunes en matière de couverture lexicale @xcite , de connaissances culturelles @xcite et de nuances syntaxiques @xcite . par conséquent, les performances des llm dans des contextes à faible ressource sont nettement inférieures à celles obtenues avec des ensembles de données bien dotés. cette disparité limite fortement les avancées en ia dans les domaines concernés. cet article de synthèse met en lumière les méthodes et les évaluations utilisées dans les contextes à faible ressource et dans les domaines spécialisés. nous soutenons que la diversité et la qualité des ensembles de données sont plus importantes que l'accumulation de grandes quantités de données médiocres. cette perspective est corroborée par des études démontrant que la qualité des données d'entraînement a un impact significatif sur la performance des modèles de langage, en particulier dans les environnements à faible ressource @xcite . pour pallier la rareté des données, l'augmentation des données s'est imposée comme une solution efficace @xcite , permettant de générer des exemples supplémentaires afin d'améliorer la robustesse des modèles. le traitement automatique du langage naturel (taln) englobe un large éventail de tâches, telles que la synthèse de texte, la modélisation de sujets et la génération de texte @xcite . dans cette étude, nous nous concentrons explicitement sur la tâche de question-réponse (question answering, qa), car elle s'impose comme un domaine de recherche particulièrement dynamique, notamment dans les contextes à faible ressource. dans les applications spécifiques à un domaine, notamment dans le secteur privé et les milieux de recherche indépendants, les systèmes de qa et de chatbots @xcite sont couramment utilisés pour faciliter l'interaction des utilisateurs avec les ensembles de données et évaluer les capacités des modèles. de plus, avec l'avènement des grands modèles de langue, les systèmes de qa peuvent être adaptés pour exécuter d'autres tâches de taln via la restructuration des données et l'affinage des modèles. toutefois, malgré ces avancées, les applications spécifiques à un domaine continuent de rencontrer des défis majeurs dans les environnements à faible ressource. ## problématique présentation les environnements à faibles ressources pour les grands modèles de langage (llms) sont des contextes où des ressources essentielles comme des corpus larges et variés, des jeux de données annotés, une expertise métier ou la disponibilité des données sont fortement limitées ou totalement absentes. ces contraintes dépassent largement les défis habituellement associés aux langues peu dotées. même dans des langues riches en ressources comme l'anglais, de nombreux domaines spécialisés, tels que certaines branches de la médecine ou de la recherche scientifique, souffrent d'un manque chronique de données @xcite . comme les llms sont en grande partie préentraînés sur des corpus génériques de grande taille, ils échouent souvent à se généraliser à des tâches qui exigent une connaissance fine et spécialisée du domaine. par exemple, dans le domaine biomédical, bien qu'il existe un grand volume de textes médicaux généraux, les jeux de données portant sur des maladies rares ou sur des essais cliniques spécifiques restent rares voire inexistants, ce qui provoque des décalages de distribution et une baisse de performance des modèles @xcite . ces limitations posent des défis majeurs pour les systèmes de question-réponse dans les domaines à faibles ressources. les systèmes de qa nécessitent non seulement une couverture lexicale étendue, mais aussi des connaissances factuelles précises, des capacités de raisonnement spécifiques au domaine, et la faculté d'extraire ou d'inférer des informations à partir du contexte. lorsque les corpus spécialisés sont peu nombreux, les modèles qa ont du mal à apprendre la terminologie, les connaissances de fond et les schémas d'inférence nécessaires à la production de réponses précises et pertinentes. de plus, en l'absence d'annotations conçues par des experts, il est difficile d'ajuster les modèles pour traiter des types de questions spécialisés, ce qui augmente le taux d'hallucinations et réduit la fiabilité des réponses. bien qu'il n'existe pas de seuil universellement reconnu pour définir un environnement à faibles ressources, nous considérons qu'un jeu de données relève de cette catégorie lorsqu'il n'est pas couramment utilisé pour l'entraînement préliminaire des grands modèles de langage. c'est notamment le cas des ensembles absents des référentiels standards. questions de recherche nous proposons aussi d'explorer plusieurs questions de recherche. premièrement, il est essentiel d'identifier des stratégies efficaces pour accroître la quantité et la qualité des données spécifiques à un domaine en utilisant les llms, en particulier dans les domaines où ces données sont rares. deuxièmement, nous cherchons à comprendre quelles approches permettent d'améliorer l'adaptation des llms aux tâches spécifiques à un domaine. troisièmement, il est nécessaire d'établir des cadres et des métriques d'évaluation robustes afin de mesurer avec précision la performance des modèles dans ces contextes. enfin, il est crucial de considérer les implications éthiques, de confidentialité et d'équité lors du déploiement des llms dans des domaines spécialisés. en conséquence, nous formulons les questions de recherche suivantes : ding et al. (2024a) proposent une analyse du domaine selon deux axes, centrée à la fois sur les données et sur l'apprentissage. ils définissent quatre « perspectives sur les données » (création, annotation, reformulation, co-annotation) et présentent différents paradigmes d'apprentissage allant de l'ajustement supervisé à l'apprentissage par alignement. ils illustrent aussi des applications concrètes, comme dr. llama pour la question-réponse médicale (où chatgpt ou gpt-4 réécrivent ou génèrent de nouvelles paires question-réponse) et la stratégie de masquage sélectif de dale. chai et al. (2025) complètent cette approche par une taxonomie technique claire, incluant des méthodes simples, basées sur des prompts, sur la récupération d'information, ou hybrides. cependant, aucune de ces deux études ne propose une comparaison systématique des différents paradigmes appliqués aux contraintes spécifiques des domaines biomédical ou juridique à faibles ressources, telles que les contraintes de confidentialité ou les variations de distribution. notre revue s'appuie sur ces travaux en se concentrant spécifiquement sur l'augmentation de données pour la question-réponse dans les contextes biomédicaux et juridiques à faibles ressources. à l'aide de jeux de données ciblés, nous analysons dans quelle mesure les différentes méthodes d'augmentation répondent aux contraintes propres à ces domaines. plutôt que de proposer un nouveau cadre théorique, notre contribution consiste en une comparaison détaillée, fondée sur les données, qui met en lumière la pertinence pratique des approches dans des contextes sensibles. figure 1 -flux de travail pour l'identification des articles pertinents sur l'augmentation des ensembles de données comme illustré sur la figure 1 , nous avons mis en place un flux de travail structuré afin d'identifier les travaux de recherche pertinents portant sur l'augmentation des ensembles de données et la génération de données synthétiques. pour explorer cette problématique de manière systématique, nous avons réalisé une revue de la littérature en nous concentrant sur les techniques d'augmentation et de génération de données synthétiques appliquées aux ensembles de données étudiés. à l'aide de google scholar, nous avons recherché des articles contenant soit le mot-clé augmentation, soit le mot-clé synthetic, rédigés en anglais, puis nous les avons filtrés pour ne conserver que ceux en lien avec le traitement automatique des langues (tal). ces deux mots-clés ont été choisis afin de couvrir largement la littérature pertinente sur l'augmentation de données, et l'indexation en texte intégral de google scholar nous a permis d'identifier des travaux dans lesquels ces termes apparaissent au-delà du titre ou du résumé. cette approche a facilité l'identification des contributions potentiellement pertinentes. nous avons ensuite sélectionné jusqu'à n articles de recherche primaire les plus cités pour chaque jeu de données, avec @xmath0, en excluant les articles de revue ainsi que ceux qui ne mentionnent les techniques d'augmentation que dans leur section de travaux connexes. les articles de revue ont été exclus car, bien qu'ils fournissent des synthèses utiles, ils ne présentent généralement pas d'analyses méthodologiques détaillées ni de résultats empiriques spécifiques aux jeux de données étudiés. ce filtrage, fondé à la fois sur le nombre de citations et le type de publication, nous a permis de nous concentrer sur les contributions les plus influentes et techniquement substantielles aux méthodologies d'augmentation de données. ## limites bien que cette étude apporte des éléments de compréhension sur l'augmentation de données et la génération de données synthétiques dans le contexte des ensembles de données à faibles ressources, plusieurs limites doivent être soulignées.