S uper GPQA - HCE - FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil (2025)

Abstract: Dans cet article, nous présentons SuperGPQA-HCE-FR, une adaptation française d’un sous-ensemble du benchmark SuperGPQA axé sur les domaines de l’ingénierie hydraulique et du génie civil. Il comprend 285 questions à choix multiples conçues pour évaluer et spécialiser des modèles de langue multilingues de grande taille (LLMs) sur des tâches techniques. La traduction réalisée automatiquement est ensuite évaluée par des experts des domaines. Enfin, nous présentons les premiers résultats sur des modèles Instruct généralistes multilingues en comparant les performances du corpus original en anglais à celles du corpus traduit en français.

## introduction les corpus textuels jouent un rôle fondamental dans de nombreuses applications en traitement automatique du langage naturel (taln). ils constituent une base essentielle pour le développement des grands modèles de langue (large language models ; llm), en fournissant des contextes d'usage représentatifs nécessaires à leur création, leur adaptation fine ainsi qu'à l'évaluation de leurs performances dans des domaines et tâches variés. ces modèles de langue ont connu un essor important ces dernières années, en particulier dans des applications d'assistance au quotidien dans les milieux professionnels, comme le métier d'ingénieur. dans cette étude, nous nous intéressons à deux secteurs d'ingénierie : l'ingénierie hydraulique et le génie civil. le domaine de l'hydraulique étudie les propriétés mécaniques des liquides et des fluides, et son ingénierie peut couvrir la conception de barrages comme la valorisation énergétique, les calculs de débit dans des conduites, la microfluidique ou les systèmes de pompage @xcite . le domaine du génie civil couvre quant à lui l'ensemble des techniques de construction civiles, de la conception à la réalisation d'ouvrages d'infrastructures (ponts, tunnels) ainsi que leur réhabilitation @xcite . l'accès à des données textuelles pertinentes à ces domaines, pour le préentraînement comme pour l'évaluation, se révèle particulièrement limité et difficile, notamment par des contraintes liées à la confidentialité et la sensibilité des procédures opérationnelles internes. cette absence de ressources spécialisées limite la capacité des modèles de langues génératifs -préentraînés sur de vastes corpus de données « généralistes » -à produire des textes précis ou à comprendre les subtilités de ces domaines, qui possèdent un vocabulaire propre et des connaissances techniques et spécialisées, souvent absents des données d'entraînement « standard ». à notre connaissance, aucun corpus disponible à ce jour ne couvre de manière systématique et ciblée les domaines de l'ingénierie hydraulique et le génie civil pour la langue française. face à ces limites, nous proposons une adaptation en français du corpus en anglais supergpqa (m-a- @xcite , conçu pour traiter spécifiquement des contextes techniques y compris les domaines de l'ingénierie hydraulique et du génie civil. dans cet article, nous traduisons le corpus en français puis procédons à une post-édition par des experts humains du domaine afin d'assurer la qualité terminologique et conceptuelle du contenu. enfin, nous évaluons les capacités de modèles de langue génératifs à répondre à des questions à choix multiples portant sur ces deux domaines. ainsi, à travers cette démarche, nous poursuivons un double objectif : 1. fournir une ressource d'évaluation pour le français et sur ces domaines spécialisées ; 2. contribuer à une meilleure compréhension des limites des modèles de langues génératifs en contexte technique et industriel en anglais mais aussi en français, langue peu représentée dans les benchmarks spécialisés industriels. l'article est organisé comme suit : après une présentation de l'état de l'art dans la section 2, nous présentons notre méthodologie puis détaillons notre configuration expérimentale. nous consacrons, enfin, la section 6 à la présentation des résultats et leur analyse. ## configuration expérimentale nous évaluons la capacité de cinq modèles de langue décodeurs à générer la réponse correcte aux questions de supergpqa-hce-fr, avec deux types d'expériences : zero-shot et five-shot. des données non annotées selon un objectif de modélisation de la langue (prédiction du token suivant). par conséquent, ils deviennent plus susceptibles à produire des sorties dégénérées (p. ex. répétitions excessives, incohérences sémantiques, mélanges de langues) (welleck et al., 2019; holtzman et al., 2020; riley & chiang, 2022; li et al., 2023). modèle nb paramètres open source open data croissantllm-chat (faysse et al., 2025) 1,3b ✔ ✔ qwen2.5-instruct (qwen et al., 2025) 1,5b, 7b, 14b ✔ mistral-7b-instruct (jiang et al., 2023) 7b ✔ llama-3.1-8b-instruct (grattafiori et al., 2024) 8b ✔ prompt et paramètres de génération malgré la diversité potentielle des formats de sortie selon les modèles, nous conservons la version initiale et uniformisée des prompts pour l'ensemble des expériences (cf. annexe) pour une comparaison homogène et cohérente. par ailleurs, pour toutes les expérimentations, nous avons fixé la température à 0 puisqu'elle ne dégrade pas les performances pour la tâche (renze, 2024), et assure la reproductibilité des expérimentations. mesure d'exactitude dans (m-a-p team et al., 2025), l'évaluation repose sur une extraction d'options choisies par le modèle (de a à j), à partir de textes « libres » contenant de formulations variées. l'approche s'appuie sur des expressions régulières appliquées d'abord à la fin de la réponse, reposant sur l'hypothèse que le modèle conclut sa réponse généralement par une affirmation explicite de leur choix d'après les instructions données dans le prompt. si aucune réponse n'est détectée, l'analyse est ensuite étendue à l'ensemble du texte pour repérer une éventuelle mention plus implicite dans le corps de la réponse. dans les deux cas, un ensemble de patrons est défini pour capturer différentes formulations typiques, telles que : [...] « la bonne réponse est donc h) centrale hydroélectrique de barrage. » ; « ainsi, la réponse correcte est h. » ; « réponse : h » ; « la réponse correcte est : h) centrale hydroélectrique de barrage. ». la métrique utilisée est exact match, évaluant une réponse comme correcte uniquement si la lettre extraite correspond exactement à la lettre attendue. 6 résultats l'évaluation proposée respecte la méthodologie suivante : 1. génération de réponses pour chaque question ; 2. calcul des métriques pour chaque réponse (dans notre cas, l'exactitude) 3. et agrégation des résultats pour obtenir un score moyen par modèle, par langue et par domaine visé. impact du n-shot les performances observées en zero-shot et five-shot sont résumées dans le tableau 2. nous constatons que les performances en zero-shot surpassent généralement celles en five-shot en français, dans les deux domaines. cette différence est moins évidente pour l'anglais. modèle hydrau-en hydrau-fr civil-en civil-fr croissantllm-chat-five-shot 10,38% 5,66% 14,29% 8,47% croissantllm-chat-zero-shot 4,72% 0,94% 6,36% 4,76% llama-3.1-8b-instruct-five-shot 23,58% 19,81% 22,75% 20,63% llama-3.1-8b-instruct-zero-shot 30,19% 26,42% 22,22% 23,81% mistral-7b-instruct-five-shot 25,47% 24,53% 17,99% 16,93% mistral-7b-instruct-zero-shot 24,53% 31,13% 15,34% 21,69% qwen2.5-1.5b-instruct-five-shot 23,58% 18,87% 17,99% 14,29% qwen2.5-1.5b-instruct-zero-shot 19,81% 21,70% 22,22% 21,69% qwen2.5-7b-instruct-five-shot 30,19% 34,91% 29,10% 22,22% qwen2.5-7b-instruct-zero-shot 33,96% 37,74% 30,16% 22,75% qwen2.5-14b-instruct-five-shot 31,13% 34,91% 33,33% 27,51% qwen2.5-14b-instruct-zero-shot 36,79% 30,19% 37,04% 27,51%