# Vers une robotique du traduire

Anne Baillot<fnref n="1" />, Ellen Carter<fnref n="2" />, Thierry Grass³, Pablo Ruiz Fabo⁴¹

¹ Le Mans Université, France

2, 3, 4 Université de Strasbourg, France

Autrice référente : Anne Baillot, anne.baillot@univ-lemans.fr

## INTRODUCTION

L'apparition sur la toile en 2017 de nouveaux services de traduction reposant sur des algorithmes d'intelligence artificielle de type « apprentissage neuronal profond » [LeCun et al., 2016; Koehn, 2020] comme DeepL et Google Translate [Kutylowski, 2022; Wu et al., 2016] a correspondu à un nouveau bond en avant en matière de traduction automatique (TA). Ces systèmes récents, comme les systèmes de la génération précédente de traduction automatique statistique et de traduction automatique statistique factorisée [Koehn et Hoang, 2007; Koehn, 2010], s'appuient sur de grands corpus alignés et produisent des résultats dont la qualité est pour certains comparable à certaines traductions humaines. Il s'ensuit que pour produire une valeur ajoutée, la traductrice/le traducteur doit apporter un plus par rapport à la machine. Ce plus peut être inhérent à des domaines où le recours à la machine n'a en soi guère d'intérêt du fait de la dimension essentiellement esthétique de la traduction : c'est le cas de la traduction de certains genres littéraires. Si de nombreux travaux de traductologie universitaire se réfèrent en large partie à ce domaine, il ne représente de fait qu'une fraction réduite de l'activité de traduction professionnelle existante<fnref n="2" />.

Comme de surcroît la machine permet des gains de productivité de l'ordre de 150 à 200 % (certaines traductrices et certains traducteurs atteignent des rendements de 6 000 à 8 000 mots par jour), la technique de la post-édition tend à s'imposer de plus en plus dans les industries de la langue, ce qu'a confirmé en 2017 la mise en place de la norme ISO 18587 « Services de traduction – Post-édition d'un texte résultant d'une traduction automatique – Exigences » [ISO, 2017]. Cette technique de post-édition pose un cas de conscience à la traductrice et au traducteur : accepter de ne pas être à l'origine de sa propre traduction au profit de la machine.

La profession de traductrice et de traducteur sera-t-elle un jour supplantée par des algorithmes ? En comparant la technologie avec les traductions fournies par des traducteurs-trices amateurs, certaines prédisent déjà un dépassement des humains par la machine : c'est notamment le cas d'experts et experts de l'industrie et d'universitaires qui, selon un sondage initié par Katja Grace (Future of Humanity Institute, Université d'Oxford), prédisent que l'intelligence artificielle dépassera la traduction par des humains qui maîtrisent langue source et langue cible sans être des traducteurs-trices professionnel·les d'ici 2026 [Grace et al., 2018]. Pour d'autres, le principal obstacle de la machine reste son absence de connaissance du monde et donc de compréhension et d'interprétation de celui-ci : certains textes, comme les textes juridiques ou à vocation esthétique, restent réfractaires à la traduction automatique. Des essais

<footnote n="1">¹ Apparition des autrices et auteurs dans l'ordre alphabétique.</footnote>

<footnote n="2">² Même dans le cas de la poésie, un genre qui présente des défis considérables pour la traduction automatique, des premiers essais de traduction neuronale [Chakrabarty et al., 2021; Ghazvininejad et al., 2018] laissent entrevoir le potentiel des systèmes.</footnote>
ont été menés pour mettre systématiquement en perspective les avancées de la traduction
neuronale et l’écart entre ses résultats et la biotraduction professionnelle sur divers types de
texte ; Poibeau [2022] en fournit une synthèse. Des phénomènes linguistiques complexes, dont
la traduction peut demander l’accès au contexte au-delà de la phrase, demeurent
particulièrement difficiles pour la TA [Bawden et al., 2018]. Pour autant, les tâches dévolues
à la traductrice et au traducteur changent et se diversifient : la post-édition supplante la
traduction par écrasement dans de nombreux domaines, la localisation nécessite des
compétences interculturelles, la mise en page implique la maîtrise d’outils de publication
assistée par ordinateur.

Le présent numéro rassemble des articles ayant pour but non pas de dresser un bilan, mais de présenter des réflexions et des expériences pratiques émanant non seulement de traductrices et traducteurs professionnel·le·s, mais aussi d'enseignantes-chercheuses et d'enseignants-chercheurs spécialistes de l'enseignement et/ou de la recherche en traduction. Les développements fulgurants de l'intelligence artificielle obligent non seulement les traductrices et traducteurs professionnel·le·s, mais aussi les formations en traduction à s'adapter. Les approches mises en dialogue dans le cadre du colloque interdisciplinaire ayant eu lieu à l'Université de Strasbourg en 2021 concernent la traduction, mais aussi les applications informatiques, la linguistique, la traductologie et la didactique des langues.

I APPROCHES HISTORIQUES ET LINGUISTIQUES

La traduction automatique s'inscrit dans la lignée de traditions disciplinaires différentes, pour partie anciennes. Si cette section n'explore pas ces traditions dans leur intégralité, du moins permet-elle d'en éclairer des dimensions saillantes dans le contexte récent de la traductologie (Nicolas Froeliger) et originales avec une mise en perspective historique en profondeur jusque chez les précurseurs de la logique formelle (Marc Lebon).

En ouverture, Nicolas Froeliger dresse un historique des positions prises par la traductologie, principalement française, vis-à-vis de la traduction automatique, depuis la fin des années 1950. Il distingue trois étapes : celle d'une objection préjudicielle dans laquelle la traduction automatique sert avant tout de repoussoir et d'exercice de pensée pour définir ce que la traduction ne saurait être ; celle de la vulgarisation, à mesure que le monde et le marché prennent conscience des avancées techniques ; et enfin, aujourd'hui, celle de la convergence, à forte teneur interdisciplinaire. Comme le souligne Nicolas Froeliger, l'enjeu, dans cette hybridation, est bien celui du maintien d'une pertinence scientifique, professionnelle et sociétale de la traductologie.

Dans sa contribution, Marc Lebon revient bien plus longtemps en arrière : il se penche sur des
tentatives de chiffrage et d'automatisation des langues telles qu'elles ont pu être développées
depuis le XVIIe siècle, en particulier par Athanasius Kircher, John Wilkins et Gottfried Leibniz.
Il analyse, d'une part, les principes sous-tendant l'élaboration de leurs machines à fabriquer
des équivalences entre les langues et, d'autre part, les mécanismes qui ont pu conduire à leur
échec. Sa contribution éclaire la proximité conceptuelle entre ces dispositifs de calcul et les
machines développées depuis la fin du XXe siècle à des fins d'automatisation de la traduction,
pointant du doigt le fait que les débats que nous pouvons avoir autour de ces procédés sont
peut-être plus anciens que ce que nous nous imaginons.

II DISPOSITIFS PÉDAGOGIQUES

Les trois articles de cette section étudient l'utilisation pédagogique de la traduction
automatique et de la post-édition pour des étudiantes et étudiants en traduction de niveau
licence ou master en Espagne (Julio de Los Reyes Lozano), aux Pays-Bas (Joop Bindels et Mark Pluymaekers) et en Suisse (Lise Volkart et al.). Les questions examinées comprennent la qualité de la traduction pour le doublage avec et sans traduction automatique, ou sous l'influence de différentes stratégies de post-édition, ainsi que l'utilisation spontanée de la traduction automatique par les étudiants.

Dans la première contribution, Julio de Los Reyes Lozano présente une expérience d'enseignement alliant traduction automatique et traduction audiovisuelle avec des étudiantes et étudiants de traduction en Espagne. Après avoir traduit pour le doublage un extrait de série télévisée, les participantes et participants ont réalisé la post-édition du même texte et ensuite évalué le temps consacré et la typologie d'erreurs générées par la traduction automatique. Si les résultats montrent des difficultés pour insérer la traduction automatique dans le cadre d'un projet de doublage, une réduction du temps global a été constatée, ce qui encourage à poursuivre la recherche dans ce domaine.

Ensuite, l'étude de Joop Bindels et Mark Pluymaekers porte sur l'utilisation de la traduction automatique par des étudiantes et étudiants de premier cycle pour différentes tâches d'apprentissage. Les résultats suggèrent que la plupart des étudiantes et étudiants utilisent régulièrement la traduction automatique, bien que la fréquence d'utilisation diminue au fur et à mesure qu'ils et elles progressent dans leurs études. Les résultats présentés plaident en faveur d'une approche globale du développement des connaissances en traduction automatique et des compétences en post-édition.

Dans leur contribution, Lise Volkart *et al.* ont mené une expérience avec des étudiantes et étudiants en traduction pour évaluer l'influence de deux stratégies de post-édition différentes sur trois aspects : le temps de post-édition, le ratio d'erreurs corrigées et le nombre de modifications optionnelles par mot. Leurs résultats montrent que la stratégie choisie n'a pas d'influence sur le temps de post-édition, ni sur le taux d'erreurs corrigées. En revanche, elle a une influence sur le nombre de modifications optionnelles par mot. Deux autres observations ressortent également : premièrement, le ratio d'erreurs corrigées montre que les étudiantes et étudiants ne corrigent que la moitié des erreurs de traduction automatique, ce qui souligne la nécessité de la pratique de la post-édition. Deuxièmement, lorsque les étudiantes et étudiants ne sont pas obligés de lire d'abord le segment source, ils ont tendance à faire de la post-édition monolingue.

### III BIOTRADUCTION VS. TRADUCTION AUTOMATIQUE

Par le biais de la post-édition, désormais devenue incontournable dans de nombreux domaines, la traduction humaine ou « biotraduction » s'adapte de plus en plus aux exigences de la traduction automatique. Pour l'instant, la traductrice humaine/le traducteur humain est encore irremplaçable dans le processus de traduction, même si elle/il intervient en bout de chaîne comme post-éditrice/post-éditeur. L'adaptation à la traduction automatique suppose, de la part de la biotraductrice/du biotraducteur, non seulement qu'elle/il connaisse les biais de la traduction automatique, mais aussi que ses compétences linguistiques dans les langues source et cible soient optimales par rapport à des systèmes de plus en plus performants.

L'article de Maryam Alrasheed se propose de s'interroger sur l'aspect positif de la subjectivité humaine en tant qu'outil de compréhension et de contextualisation par rapport à la subjectivité de la machine, qui pourrait résider dans l'ensemble des subjectivités présentes dans les corpus ayant servi à son entraînement.

Pour Françoise Bacquelaine, malgré les progrès de la traduction automatique neuronale, l'intelligence artificielle ne permet toujours pas à la machine de déjouer tous les pièges de la
traduction, notamment ceux qui sont liés à l'ambiguïté lexicale, à la phraséologie, à la syntaxe et à la sémantique [Koehn, 2020]. Deux structures portugaises moyennement figées présentent les caractéristiques d'« unités de construction préformées » décrites par Schmale [2013]. Elles relèvent donc de la phraséologie au sens large et doivent être traduites en bloc. La traduction en bloc de ces unités de construction préformées constitue un défi pour la machine, notamment du fait des propriétés syntaxiques de scission et d'inversion des éléments sur l'axe syntagmatique. Un échantillon de 168 occurrences de ces unités en contexte phrastique a été prélevé sur un corpus journalistique portugais. Cet échantillon a été traduit en français par DeepL et Google Translate en 2019 et en 2021. Les traductions automatiques brutes ont été confrontées à un modèle de biotraduction (ensemble de stratégies linguistiques de biotraduction) établi à partir de corpus parallèles ou alignés portugais-français et analysées en fonction de deux critères généraux (non-littéralité et acceptabilité) et de quelques défis spécifiques à chaque unité en particulier. L'analyse permet d'évaluer l'évolution de ces deux systèmes de traduction automatique face à l'ambiguïté phraséologique et d'en tirer des conclusions quant à la possibilité d'extinction de la biotraduction et aux implications de ces outils performants sur la formation des futurs prestataires de services linguistiques.

La contribution de Katell Hernández Morin et de Franck Barbin présente le projet OPTIMICE (optimisation de la traduction automatique des métadonnées et de son insertion dans la chaîne éditoriale). Ce projet vise à concevoir une méthode combinant la traduction automatique neuronale et la post-édition humaine pour améliorer la qualité des métadonnées des articles traduites du français vers l'anglais dans le processus éditorial des revues scientifiques, et formule des recommandations de rédaction et de traduction des métadonnées.

Hanna Martikainen présente une expérience de traduction automatique adaptative. Dans le cadre d'un cours sur la traduction automatique et la post-édition, des étudiantes et étudiants de deuxième année de master ont réalisé des projets de groupe sur la plateforme Lilt. Hanna Martikainen analyse les points de vue des étudiantes et étudiants sur le moteur de traduction automatique, en mettant l'accent sur leur interaction avec la technologie. Si les étudiantes et étudiants reconnaissent le potentiel de la traduction automatique adaptative pour renforcer le rôle de l'humain dans la boucle, la qualité de la traduction automatique et l'ergonomie de la traduction assistée par ordinateur en général semblent avoir une plus grande influence sur la facilité d'utilisation que l'interaction avec la machine.

# IV ENJEUX POUR LA TRADUCTION PROFESSIONNELLE

Pour les traductrices et traducteurs professionnel·le·s, l'émergence de la traduction automatique conduit à des déplacements considérables dans les pratiques. Cette section se penche sur deux dimensions importantes de ces pratiques : les compétences nécessaires et les modes d'évaluation du résultat final. Un troisième article vient compléter ces analyses en présentant une enquête qui offre un éclairage sur le domaine de la traduction médicale.

L'article de Ralph Krüger porte sur les compétences nécessaires aux professionnel·les de la traduction dans un contexte d'automatisation croissante des processus. Il fait plus particulièrement le lien avec le cadre européen de référence pour les compétences numériques et avec les initiatives existantes de formation à la littératie des données. L'approche par les compétences lui permet, pour conclure, de faire le lien avec les dispositifs pédagogiques professionnalisants développés à l'Université technique de Cologne (Allemagne).

Éric Poirier se penche, pour sa part, non pas sur les compétences en amont, mais sur l'évaluation du résultat en aval. Son analyse porte sur la méthodologie d'évaluation de traductions et de révisions, et démontre que les méthodes numériques peuvent également apporter une contribution substantielle à cette dimension du travail de traduction. La notion de
volume informationnel est au cœur des mesures proposées, défini ici comme fonction du nombre de caractères et de mots lexicaux dans les segments alignés à comparer. Les segments informationnellement hétéromorphes (dont le volume informationnel diffère) sont plus susceptibles de contenir des erreurs de traduction ou de justifier une révision. Les méthodes proposées par Éric Poirier sont applicables dans le contexte de la traduction professionnelle, entre autres afin d'évaluer dans quelle mesure une traduction s'approche d'un objectif de qualité prédéfini, et dans quelle mesure une correction ou révision est requise.

La dernière contribution de cette section, présentée par Magali Vidrequin, propose un éclairage pratique en lien avec les pratiques professionnelles de traduction. Elle présente ainsi une enquête réalisée auprès de traductrices et traducteurs indépendants intervenant dans le domaine médical. Magali Vidrequin analyse les différents profils et pratiques des professionnel·les en matière de post-édition. Les résultats qu'elle met en valeur soulignent l'intégration de la traduction automatique dans l'environnement de traduction des professionnel·les concerné·s.

## V L'APPORT DES CORPUS

L'approche dite « empirique » du traitement automatique des langues (TAL), dont la traduction automatique statistique et la traduction automatique neuronale font partie, consiste à induire des représentations utiles pour mener à bien une tâche langagière à partir de corpus ; dans le cas de la traduction automatique, il s'agit d'induire des modèles capables de traduire sur la base de corpus alignés [voir Poibeau, 2017, ch. 7 et 9]. Quand de grands corpus sont disponibles pour une paire de langues, c'est surtout la traduction neuronale qui a permis des gains de qualité de traduction impressionnants pour une variété de types de texte. Or, un danger inhérent à l'exploitation de corpus est la reproduction, par les modèles d'apprentissage automatique, des biais sociétaux du contexte dans lequel ces corpus sont produits, puisqu'ils sont reflétés dans la sélection de documents inclus dans les corpus et dans le contenu de ces documents [Bolukbasi et al., 2016; Kumar et al., 2020; Lu et al., 2020; Sun et al., 2019], qu'il s'agisse de biais sexistes, racistes ou d'autres dimensions.

Le premier article de cette section (Damien Hansen et al.) illustre l'exploitation de corpus en traduction automatique de façon assez originale, en se concentrant sur l'entraînement de modèles à partir de corpus littéraires. Ensuite, Isabelle Rivas-Ginel et Sarah Theroine examinent les biais de genre dans des traductions automatiques de jeux vidéo, apportant de nouveaux résultats aux analyses existant sur ce type de biais en traduction automatique [Prates et al., 2020; Saunders et al., 2020; Savoldi et al., 2021].

Le travail de Hansen et de ses coauteur·trice·s présente un système entraîné spécifiquement pour la traduction d'œuvres littéraires, plus précisément encore pour la traduction d'heroic fantasy, avec la paire de langues anglais-français. La traduction automatique littéraire en domaine narratif avec cette paire de langues n'avait pas encore été abordée avec des méthodes neuronales, même s'il existait des expériences avec la traduction automatique statistique. Deux modèles neuronaux ont été testés, particulièrement les transformers<fnref n="3" /> ; ces derniers sont au cœur des avancées récentes en traitement automatique des langues et en traduction automatique. Les métriques d'évaluation quantitative des traductions automatiques obtenues pour le corpus littéraire sont, sans surprise, plus basses que les scores atteints dans d'autres domaines. Or, les expériences effectuées montrent dans quelle mesure il est possible d'adapter un modèle à la littérature et au style d'un·e auteur·trice concrèt·e, voire au style d'un·e traducteur·trice

<footnote n="3">³ LSTM : long short-term memory; l'un des modèles proposés pour aider à gérer les dépendances linguistiques à longue distance (p. ex. sujet éloigné de son verbe).</footnote>
précis·e, contrairement aux résultats obtenus avec des systèmes neuronaux génériques, non affinés sur des corpus littéraires, qui effacent ces traits stylistiques. L’utilité potentielle de ces modèles spécifiques à la littérature pour une traduction littéraire assistée par ordinateur est également abordée.

En étudiant la localisation de jeux vidéo, María Isabel Rivas Ginel et Sarah Theroine analysent
le pourcentage de biais de genre résultant de l'utilisation de Google Translate, DeepL et
SmartCat lors de la traduction de contenus de l'anglais vers le français dans le cas des jeux
vidéo. Leur étude porte sur trois jeux : *DeltaRune, The Devil's Womb et The Faces of the Forest*
en raison de la présence de personnages non binaires, de personnages non sexualisés et de
protagonistes féminins. En créant un corpus parallèle, elles comparent les résultats des trois
outils afin d'identifier et d'analyser les différences en termes d'erreurs liées au genre, de
visualiser les directions sémantiques et grammaticales des mots, et d'extraire les collocations
et les lignes de concordance qui représentent l'identité de genre en analysant les modèles dans
la langue source.

VI RETOURS D'EXPÉRIENCE

L'un des objectifs du colloque était de mettre en dialogue la recherche sur la traduction
automatique avec l'expérience au quotidien des professionnel·les de la traduction. Cette
section apporte un éclairage sur l'expérience de traductrices et traducteurs professionnel·les
dans l'industrie et en milieu universitaire. Elle montre également comment la traduction
neuronale influence les activités de traduction et les pratiques pédagogiques en tant
qu'enseignant·e·s de la traduction.

L'article d'Alain Volclair porte sur le cas particulier de la traduction juridique. Il soulève des
interrogations traductologiques et y apporte des éléments de réponse par le prisme de la
traduction juridique des courriers d'avocats de l'italien vers le français. Il s'interroge également
sur les bonnes pratiques de post-édition et sur le transfert de la performativité au moyen de la
traduction automatique. Il se demande, pour finir, s'il est souhaitable de laisser l'intelligence
artificielle résoudre des litiges relevant du droit civil.

Dans un registre différent, Dominique Defert fait part, avec humour, de son expérience en revenant sur l'apport récent de la traduction neuronale à ses activités de traducteur littéraire d'auteur·trice·s comme Dan Brown, Patricia Cornwell et John Grisham depuis 1984. Il montre comment la traduction automatique (même neuronale) ne peut bien entendu traduire ni l'humour, ni le non-dit, ni les dispositifs textuels ou rhétoriques visant à « intriguer, surprendre, charmer » les lecteur·trice·s. Il compare ainsi ses propres traductions de best-sellers déjà parus sur le marché avec ce qu'une traduction neuronale rendrait pour le même texte source. Il souligne cependant que, dans sa pratique de traduction littéraire, l'utilité des outils récents de traduction neuronale est ailleurs : ils lui sont précieux en tant qu'outil de référence et constituent une aide pour trouver des informations rapidement, « sans lâcher le clavier ».

Enfin, Jean-Yves Bassole explore les implications des outils gratuits de traduction automatique pour l'enseignement de la traduction. Des erreurs de traduction effectuées par sept outils de traduction automatique gratuits en ligne sont examinées, sur la base de neuf exemples extraits de textes littéraires (de Louis-Ferdinand Céline) contenant de la langue parlée et populaire. L'article aborde l'inquiétude des enseignant·e·s en traduction, qui constatent un manque de réflexion critique dans l'utilisation de ces outils, mais aussi l'utilité pédagogique de ces derniers. L'article témoigne ainsi de la manière dont les enseignant·e·s de traduction essaient de faire comprendre aux étudiant·e·s plusieurs défis de traduction sur la base des erreurs de traduction effectuées par les traducteurs automatiques.
Références

Bawden R., Sennrich R., Birch A. et Haddow B. Evaluating Discourse Phenomena in Neural Machine Translation. *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*. 2018 : 1304-1313. https://doi.org/10.18653/v1/N18-1118

Bolukbasi T., Chang K.-W., Zou J. Y., Saligrama V. et Kalai A. T. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. *Advances in Neural Information Processing Systems*. 2016 ; 29. https://proceedings.neurips.cc/paper/2016/hash/a486cd07e4ac3d270571622f4f316ec5-Abstract.html

Chakrabarty T., Saakyan A. et Muresan S. *Don't Go Far Off: An Empirical Study on Neural Poetry Translation* (arXiv:2109.02972). arXiv, 2021. http://arxiv.org/abs/2109.02972

Ghazvininejad M., Choi Y. et Knight K. Neural Poetry Translation. *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)*. 2018 : 67-71. https://doi.org/10.18653/v1/N18-2011

Grace K., Salvatier J., Dafoe A., Zhang B. et Evans O. When Will AI Exceed Human Performance? Evidence from AI Experts. *Journal of Artificial Intelligence Research*. 2018 ; 62 : 729-754. https://doi.org/10.1613/jair.1.11222

ISO. ISO 18587 : 2017. Services de traduction – Post-édition d’un texte résultant d’une traduction automatique – Exigences. 2017. https://www.iso.org/fr/standard/62970.html

Koehn P. *Neural Machine Translation*. Cambridge University Press (Cambridge), 2020.

Koehn P. *Statistical Machine Translation*. Cambridge University Press (Cambridge), 2010.

Koehn P. et Hoang H. Factored translation models. *Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL)*. 2007.

Kumar V., Bhotia T. S., Kumar V. et Chakraborty T. Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings. *Transactions of the Association for Computational Linguistics*. 2020 ; 8 : 486-503. https://doi.org/10.1162/tacl_a_00327

Kutylowski J. DeepL - Press Information. DeepL, 2022. https://www.deepl.com/press.html

LeCun Y., Bengio Y. et Hinton G. Deep learning. *Nature*. 2015 ; 521(7553) : 436-444. https://doi.org/10.1038/nature14539

Lu K., Mardziel P., Wu F., Amancharla P. et Datta A. Gender Bias in Neural Natural Language Processing. In Nigam V., Ban Kirigin T., Talcott C., Guttman J., Kuznetsov S., Thau Loo B. et Okada M. (dir.). *Logic, Language, and Security: Essays Dedicated to Andre Scedrov on the Occasion of His 65th Birthday*. Springer International Publishing (New York), 2020 : 189-202. https://doi.org/10.1007/978-3-030-62077-6_14

Poibeau T. On "Human Parity" and "Super Human Performance" in Machine Translation Evaluation. *Language Resource and Evaluation Conference*. 2022. https://hal.archives-ouvertes.fr/hal-03738720

Poibeau T. *Machine Translation*. MIT Press (Cambridge, Ma.), 2017.

Poirier É. A. What Can Euclidean Distance Do for Translation Evaluations? In Bisiada M. (dir.). *Empirical Studies in Translation and Discourse*. Language Science Press (Berlin), 2021 : 165-198.

Prates M. O. R., Avelar P. H. et Lamb L. C. Assessing gender bias in machine translation: A case study with Google Translate. *Neural Computing and Applications*. 2020 ; 32(10) : 6363-6381. https://doi.org/10.1007/s00521-019-04144-6

Saunders D., Sallis R. et Byrne B. Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It. *Proceedings of the Second Workshop on Gender Bias in Natural Language Processing*. 2020 : 35-43. https://aclanthology.org/2020.gebnlp-1.4

Savoldi B., Gaido M., Bentivogli L., Negri M. et Turchi M. Gender bias in machine translation. *TACL – Transactions of the ACL*. 2021 : 845-874. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00401/106991/Gender-Bias-in-Machine-Translation

Schmale G. Qu'est-ce qui est préfabriqué dans la langue ? Réflexions au sujet d'une définition élargie de la préformation langagière. *Langages*. 2013 ; 189(1) : 27-45. https://doi.org/10.3917/lang.189.0027

Sun T., Gaut A., Tang S., Huang Y., ElSherief M., Zhao J., Mirza D., Belding E., Chang K.-W. et Wang W. Y. Mitigating Gender Bias in Natural Language Processing: Literature Review. *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, 2019 : 1630-1640. https://doi.org/10.18653/v1/P19-1159

Wu Y., Schuster M., Chen Z., Le Q. V., Norouzi M., Macherey W., Krikun M., Cao Y., Gao Q., Macherey K., Klingner J., Shah A., Johnson M., Liu X., Kaiser Ł., Gouws S., Kato Y., Kudo T., Kazawa H., ... et Dean J. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. *ArXiv:1609.08144 [Cs]*, 2016. http://arxiv.org/abs/1609.08144