Utiliser les syntagmes nominaux complexes anglais pour évaluer la robustesse des systèmes de traduction anglais-français en langue de spécialité (2023)

Abstract: Nous défendons l’idée que l’analyse des erreurs faites lors de la traduction des syntagmes nominaux complexes présente un intérêt pour évaluer la robustesse des systèmes de traduction automatique anglais-français en langue de spécialité. Ces constructions syntaxiques impliquent des questions de syntaxe et de lexique qui constituent un obstacle important à leur compréhension et leur production pour les locuteurs d’anglais non natifs. Nous soutenons que ces analyses contribueraient à garantir que les systèmes de TA répondent aux exigences linguistiques des utilisateurs finaux auxquels ils sont destinés.

## introduction nous défendons l'idée que l'analyse des erreurs faites lors de la traduction des syntagmes nominaux complexes présente un intérêt pour évaluer la robustesse des systèmes de traduction automatique (ta) en langue de spécialité. dans cet article, nous justifions tout d'abord l'intérêt d'une analyse linguistique des systèmes de ta (partie 2), puis nous présentons les syntagmes nominaux complexes et les difficultés qu'ils soulèvent (partie 3). par l'analyse de l'état de l'art, nous montrons que cette construction syntaxique ne semble pourtant pas assez prise en compte aujourd'hui dans l'évaluation des systèmes de ta (partie 4). puis, nous présentons une typologie d'erreurs adaptées à l'analyse de ce phénomène (partie 5). nous illustrons ensuite l'intérêt de cette analyse par quelques exemples tirés de nos travaux de thèse (partie 6). les progrès récents de la traduction automatique neuronale s'accompagnent d'attentes importantes de la part des usagers potentiels @xcite . les progrès en matière de fluidité font que cet outil est de plus en plus perçu comme une aide potentielle à la rédaction en anglais @xcite , et comme un outil pour accéder à des connaissances scientifiques dans des langues non maîtrisées @xcite . en parallèle, l'usage de la postédition se développe en milieu professionnel. dès 2017, moorkens @xcite supposait que son utilisation devrait certainement s'accroître en raison de la pression sur les coûts et la productivité. l'étude annuelle european language industry survey menée par un groupement d'associations et d'organisations relevant des services linguistiques semble prouver cette tendance : la part des entreprises et des indépendants déclarant utiliser la traduction automatique est ainsi passée de plus de 50 % en 2018 à 58 % des entreprises et plus de 70 % des indépendants en 2022 (elis survey 2022 1 ). or, si la traduction neuronale s'est accompagnée d'un bond qualitatif indiscutable (meilleure fluidité, moins d'erreurs lexicales et morphologiques, etc.) et d'une réduction de certains efforts de postédition @xcite , elle n'est pas exempte d'erreurs @xcite . les métriques automatiques (bleu, meteor. . .) classiquement utilisées pour évaluer les traductions automatiques ne suffisent plus à comprendre la capacité des systèmes neuronaux au regard de la fluidité des sorties @xcite . dans ce cadre, une analyse de phénomènes linguistiques précis, connus pour poser des difficultés aux utilisateurs finaux, prend tout son sens. en effet, si le système produit des erreurs similaires à celles des humains, il est probable que leur identification soit plus difficile dans le cas d'une postédition professionnelle (tâche par laquelle un être humain vient corriger un texte traduit automatiquement pour le rendre conforme aux attentes du client final) ou d'une utilisation de ces systèmes comme aide à la rédaction. depuis 2017, cette approche linguistique est de plus en plus utilisée pour évaluer les systèmes de ta. macketanz et al. @xcite ont montré l'intérêt d'une telle approche pour identifier les faiblesses des systèmes neuronaux en utilisant un jeu de test contenant des phénomènes linguistiques connus pour poser des difficultés de traduction en anglais-allemand. isabelle et al. @xcite ont effectué un travail similaire pour la paire anglais-français. le traitement des noms composés du @xmath0, butter knife. . .) a par exemple été étudié et les traductions se sont avérées décevantes. loock (loock, 2018) a mené une évaluation similaire sur une série de phénomènes linguistiques ayant la réputation de poser problème aux traducteurs anglais-français du fait d'une différence de fréquence d'utilisation entre les deux langues originales. il a mis en évidence une surreprésentation de ces phénomènes lexicaux et grammaticaux en français traduit automatiquement par rapport au français original. burlot et yvon se sont intéressés à la compétence morphologique des systèmes : leurs travaux suggèrent que certains phénomènes grammaticaux sont moins bien modélisés par la traduction neuronale @xcite . si le syntagme nominal « simple » est constitué d'un nom tête et éventuellement d'un déterminant, le syntagme nominal complexe résulte alors de l'ajout d'unités grammaticales à ces structures simples (syntagme prépositionnel, prémodifieurs adjectivaux, nom adjectival. . .). le discours scientifique en anglais se caractérise par le recours important et croissant aux syntagmes nominaux prémodifiés. ils permettent l'identification très précise des référents @xcite . ces groupes sont notamment employés pour compacter ou condenser l'information, et leur usage, comparativement, s'inscrit également dans des choix communicationnels spécifiques à la construction du discours scientifique, comme, par exemple, l'alternance de la pré-et postmodification dans le domaine médical @xcite . au sein de ces syntagmes nominaux prémodifiés, les syntagmes comprenant une prémodification nominale sont particulièrement complexes. ces groupes impliquent des questions de syntaxe et de lexique qui entraînent fréquemment des difficultés de découpage syntaxique. leur complexité peut être accrue par la multiplication des éléments de complexification sur un même groupe considéré ( @xcite . considérons les exemples suivants tirés d'articles du domaine de la traduction automatique des langues (tal). les exemples ci-dessus illustrent la manière dont la complexité n'est pas seulement lexicale (présence d'un terme du domaine, c'est-à-dire d'un mot ou groupe de mots renvoyant à une notion définie dans un domaine de spécialité), mais peut également résulter de la longueur du syntagme en raison du phénomène de récursivité dans la construction des snc (exemple (3)) ou de l'enchâssement des modifieurs avec par exemple la présence d'une coordination nominale (exemples (1) et ( 2 )). l'exemple (4) combine deux éléments de complexification avec une difficulté lexicale (présence de deux termes du domaine du tal : pbsmt et nmt, et d'une coordination des prémodifieurs de la tête, system). l'exemple (3) illustre la difficulté de découpage syntaxique qui résulte de la longueur potentielle des syntagmes : so-called doit-il s'interpréter comme un modifieur du seul computer-assisted translation (cat) ou de computer-assisted translation (cat) framework ? ces particularités d'usage et de construction constituent un obstacle important à leur compréhension, leur production et leur traduction pour les locuteurs d'anglais non natifs @xcite @xcite . dans ce contexte, une analyse de la capacité des systèmes de traduction automatique (ta) à traiter de ces syntagmes nominaux complexes comprenant une prémodification nominale (appelés "snc" dans la suite de cet article) tirés de textes spécialisés authentiques prend tout son sens. il s'agit de garantir que les textes scientifiques traduits automatiquement et postédités répondent aux exigences linguistiques de la communauté de discours à laquelle ils sont destinés. les études répertoriées, se concentrant en majorité sur les syntagmes binominaux et l'ambiguïté lexicale qui les caractérisent, n'ont développé des typologies que pour décrire les relations sémantiques entre ces termes. les autres typologies d'erreurs classiquement utilisées en tal s'avèrent souvent trop générales pour prendre en compte les spécificités des erreurs des snc, ou au contraire trop spécialisées sur l'étude d'un phénomène linguistique précis ou une paire de langues données @xcite @xcite . ainsi, une catégorie classique comme "ordre des mots" pourrait correspondre à des phénomènes très différents pour l'analyse d'un snc comme une mauvaise attribution d'un modifieur ou une mauvaise identification de la tête. or, les anglophones langue seconde éprouvent généralement plus de difficultés dans l'attribution des modifieurs aux bons constituants du snc plutôt qu'à l'identification de la tête. une erreur du premier type sera donc plus difficilement identifiée et corrigée par un utilisateur final de ta. dans le domaine de la traduction professionnelle (agences de traduction, indépendants...), si les approches linguistiques prédominent pour analyser les erreurs produites, elles font appel, ne serait-ce qu'implicitement, à la finalité des traductions pour évaluer la gravité des erreurs commises. les typologies d'analyses des erreurs, comme la typologie dynamic quality framework (dqf), la multitidimensional quality metrics (mqm) ou la lisa qa, combinent ainsi la prise en compte des erreurs langagières, les attentes du client (guide de rédaction, terminologie propre. . .), les nécessités de distinction entre différentes variantes linguistiques (par exemple, entre anglais britannique ou américain, ou entre français de france ou français canadien) et les contraintes du processus de production (temps passé, délai de livraison. . .) ; chacun de ces éléments est pondéré en fonction de sa gravité. ces typologies professionnelles s'avèrent également inadaptées à l'analyse des erreurs linguistiques sur les snc en raison du fort l'accent mis sur les erreurs de localisation pour répondre aux besoins d'un client spécifique, ce qui rend difficile leur utilisation sur une grande diversité de genres textuels. concernant l'identification des erreurs, elles présentent les mêmes limites que les typologies utilisées dans le domaine de la ta. pour trouver une typologie adaptée, il faut se tourner vers les typologies utilisées dans l'enseignement de la traduction anglais-français ou de l'anglais comme langue seconde. mais, si la question des termes complexes en anglais a fait l'objet de très nombreuses études, peu d'entre elles se sont intéressées à la question des syntagmes nominaux complexes dans les langues de spécialité et la grande majorité s'est concentrée sur les syntagmes binominaux et l'ambiguïté lexicale qui les caractérisent @xcite . maniez @xcite @xcite s'est ainsi intéressé aux stratégies de traduction des traducteurs français et des systèmes de ta face aux snc anglais dans le domaine médical sans toutefois développer une typologie détaillée des erreurs. @xcite sur la base de kübler et al. @xcite 6 résultats préliminaires 6.1 méthode 6.1.1 choix du corpus nous avons appliqué cette approche linguistique dans le cadre de notre thèse en analysant un corpus d'articles de recherche, traduits simultanément par plusieurs systèmes. afin d'illustrer l'intérêt d'une telle approche, nous présentons, dans cette partie, deux exemples tirés d'une analyse diachronique à l'aide de deux systèmes commerciaux, non spécialisés et accessibles en ligne : deepl et systran. les textes du corpus de test ont été traduits une première fois en décembre 2019 et une seconde fois en août 2022. l'ensemble du corpus de test de cette analyse diachronique est constitué de 4 articles de recherche rédigés en anglais, tirés de acl anthology foot_2 : 2 articles de synthèse (review papers) et 2 articles de recherche expérimentale (research papers). les textes retenus ont été écrits ou co-écrits par des chercheurs spécialistes du domaine de la traduction automatique : la majorité des auteurs ont un indice de hirsch (indice h) supérieur à 10 -six d'entre eux ont un indice supérieur à 20 -et leur indice i10 de google scholar (nombre d'articles qui ont été cités au moins 10 fois) est généralement élevé. les articles eux-mêmes ont été publiés dans des revues à comité de lecture. ils ont également été cités de très nombreuses fois depuis leur publication en 2017, ce qui pourrait témoigner de la capacité des chercheurs du domaine à s'approprier ces textes. nous pouvons donc supposer que ces articles suivent les conventions d'écriture, la phraséologie et la terminologie attendues par le public du domaine du tal. les textes ont été modifiés avant d'être soumis à la traduction. les images, les références, les en-têtes, les pieds de page et les éléments spécifiques de mise en page (italiques, saut de page...) ont été supprimés. seuls l'abstract et le corps de l'article ont été conservés. les phrases éventuellement coupées par une image ou un tableau ont été reconstituées. en revanche, les textes n'ont pas été corrigés : les erreurs d'orthographe, de grammaire ou de typographie ont été conservées. en effet, ce sont des éléments que les systèmes de ta devront être capables de traiter lors de leur utilisation par des utilisateurs finaux (postéditeur, rédacteur...). de plus, les textes n'ont pas été segmentés avant d'être soumis aux systèmes de traduction. ## conclusion et perspectives nous défendons l'idée que l'analyse des erreurs faites lors de la traduction des syntagmes nominaux complexes présente un intérêt pour évaluer la robustesse des systèmes de traduction automatique (ta) en langue de spécialité. plus particulièrement, l'analyse des syntagmes nominaux présentant une prémodification nominale pour le premier modifieur (noté "snc" dans cet article) est particulièrement adapté à la prise en compte des besoins des utilisateurs finaux, qu'il soit un professionnel de la langue (traducteur-postéditeur, rédacteur...) ou un spécialiste du domaine recherchant une aide à la rédaction vers l'anglais ou une compréhension rapide du contenu d'un texte. cette construction syntaxique ne semble pourtant pas assez prise en compte aujourd'hui dans l'évaluation des systèmes de ta. au mieux, ces questions sont partiellement intégrées à l'étude des composés nominaux, des unités phraséologiques ou aux questions sur la complexité lexicale des textes en vue de leur simplification. les analyses se limitent souvent à la question des syntagmes binominaux ou à l'aspect terminologique sans prendre en compte les autres facettes possibles de la complexité comme la longueur ou l'enchâssement. nous avons mené une première analyse diachronique basée sur une typologie permettant de mettre en parallèle les difficultés des systèmes avec les besoins des utilisateurs finaux. dans cet article, nous nous sommes concentrés sur la présentation de notre méthodologie. nous présentons deux exemples illustrant qu'en appliquant cette méthodologie à des textes du domaine du traitement automatique des langues, il est possible de montrer que les systèmes de ta produisent des erreurs similaires en partie à celles produites par un traducteur humain, ce qui peut rendre leur détection difficile par un utilisateur final. considérant que la construction syntaxique de ces syntagmes varient d'une langue de spécialité à l'autre, nous pensons donc que l'efficacité des systèmes de ta en manière de traduction des snc pourrait constituer un facteur dans le choix d'un utilisateur final d'utiliser l'un ou l'autre des systèmes à sa disposition. nos travaux actuels et futurs visent à présenter de manière approfondie les résultats de cette analyse et à étendre celle-ci à d'autres domaines de spécialité (pour prendre en compte la diversité de construction des snc) et à des systèmes de ta spécialisés (pour voir si la spécialisation dans un domaine permet d'améliorer la traduction des snc). au-delà du développement logiciel, une analyse fine des erreurs produites par les systèmes neuronaux est essentielle dans une visée pédagogique pour la formation des postéditeurs professionnels ou occasionnels (comme, par exemple, les spécialistes d'autres disciplines souhaitant une aide à la rédaction pour l'écriture d'un article scientifique dans une langue autre que sa langue maternelle). les corpus annotés seront mis librement à disposition de la communauté à l'automne 2023.