MT or not MT ? Do translation specialists know a machine-translated text when they see one? (2025)

Abstract: In this article, we investigate translation specialists’ capacity to identify raw machine translation (MT) output in comparison with so-called “human” translations produced without any use of MT. Specifically, we measure this capacity via an online activity, based on different criteria: (i) degree of expertise (translation students vs. professionals with at least 5 years’ experience), (ii) MT engine (DeepL, Google Translate, Reverso, ChatGPT), and (iii) length of input (1-3 sentences). A complementary, qualitative analysis, based on participants’ feedback, provides interesting insight on how they discriminate between raw MT output and human translations.

## introduction with the advent of neural machine translation (nmt) in the middle of the 2010s, which allowed for a surge in the quality of mt output in comparison with previous systems (e.g. @xcite , there has been a lot of discussion on the comparison between machine-translated texts and so-called human translations. some studies have shown that errors in nmt output resemble errors to be found in translations produced by human professionals, making them harder to detect and less transparent for both professionals and translation trainees (e.g. @xcite @xcite . while some research has gone so far as to claim "human parity" @xcite , it has been shown that machine-translated texts do show specific linguistic properties that distinguish them from human-produced translations. among such features are for example a lesser lexical variety, syntactic normalization, or terminological inconsistencies, all of which make so-called "machine-translationese" a reality (e.g. @xcite @xcite . as a consequence, the traditional distinction between two types of translation corrections have been maintained: revision, which is the correction of human-produced translations, and post-editing, which is the correction of machine-translated texts. the industry has so far maintained this distinction, with the existence of two iso standards, sometimes including a revision step after mt post-editing. translation programs have set up distinct classes to teach both tasks, even separate models to evaluate the two competences @xcite . there is however evidence that the line between the two might be blurring @xcite , all the more so as the line between human-translated and machinetranslated texts is blurring: even outside mtpe projects, professionals use mt output as a source of inspiration. if one wants to maintain the distinction between the two tasks, leading to different types of corrections, then this means that professional revisers and post-editors should know the origin of the translations that they are supposed to correct. and as this is not always the case -with even some cases where revisers are asked to revise a machinetranslated text without being properly informed 1it seems important to evaluate professionals' capacity to discriminate between raw mt output and translations produced by professional mt or not mt? do translation specialists know a machinetranslated text when they see one? rudy loock, nathalie moulard, quentin pacinella université de lille / rudy.loock@univ-lille.fr, nathalie.moulard@univ-lille.fr, quentin.pacinella@univ-lille.fr translators, henceforth human translations (hts). not only is this a technical competence, but sociological considerations also need to be taken into account @xcite , as translators tend to mistrust mt output more than human-translated texts, which can lead to "overediting" @xcite in the case of mtpe, although the picture is more complicated than that, as shown by @xcite . ## research question therefore, in this paper, our aim is to check whether it is possible for translation experts to identify raw mt outputs (i.e. without any postediting) among hts, with a focus on 2 types of users: students in their final year of a master's training program, right before they join the translation industry, and (ii) translation professionals with at least 5 years' professional activity. our aim is to investigate whether experience, the mt engine, the length of the input, but also the original text itself has an influence on users' ability to discriminate between mt and ht. ## methodology in order to answer our research question, we set up an online exercise where participants were shown 4 translations into french of english sentences for a series of 20 items ranging from 1 to 3 sentences. the en-fr translations consisted of a mix between raw mt outputs obtained through 4 different tools (see below) and hts produced by experienced professional translators. for each of the 20 items, there were between 0 and 4 raw mt outputs, the rest being hts. a total of 221 participants were recruited, students enrolled in their second and final year of a master's translation program (ma2) in france and translation professionals with at least 5 years' activity. all of them had french as their native language. below we provide detailed information on the data, the participants, and the exercise. ## discussion and conclusion what the results of our experimentation show is that translation experts, whether professionals or students in their final year of studies in a master's program right before joining the translation industry, are capable of discriminating between raw mt output and professional "human" translations in 2 thirds of cases on average. professionals perform better than students, but only slightly. this might be due to the fact that nowadays, most training programs include training on mt and post-editing, while not all professional translators have received such training. among the 4 generic tools under investigation here, deepl is the one that seems to provide the best outputs, since they are more frequently confused with human translations. google translate and chatgpt follow, while reverso provides raw outputs that are the most easily identifiable by our respondents. our results also show that the choice of text may have an influence on the result, while the length of the input does not seem to. all of these results lead to the conclusion that machine translation should not be considered as one unique tool, but that the quality of any mt output depends on a number of factors, in particular the mt engine that is used and the text that is translated. our results also confirm the existence of "machine-translationese" (see introduction), since raw mt outputs show features, both lexical and syntactic, that can help differentiate them from texts produced by humans. this means that an automatic detection of mt outputs via a specific tool is a possibility that could be considered, although beyond the scope of this paper. in terms of mt-related competences, our results show that in order to develop a good and relevant mt literacy as defined by @xcite , it is important not to overestimate one's capacity to identify mt output, especially as the verbatim results show that respondents consider any translation error to be due to an mt engine rather than to a human being. such a bias could lead to over-editing, a risk that is widely assumed in the case of post-editing for sociological reasons, although @xcite 's experiment actually could not confirm it (their respondents brought more changes to mt outputs when they thought that they were actually revising human translations). however, it is also important not to underestimate one's competences: after all, our results reveal that respondents can identify mt outputs among hts in 2 thirds of cases. there are naturally some limitations to our study. the very first one is that our experiment deals with one language pair for one translation direction only (en-fr) as well as one text type, and therefore the results cannot be generalized. it also needs to be acknowledged that as results provided by mt engines change over time, it is not possible to reproduce our experiment and obtain the same results as those obtained in october 2024. second, we have used free, generic online translators, although professionals in the translation industry often use custom mt engines or professional paid versions of mt tools. it would be interesting to reproduce the same kind of experimentation with mt outputs from such tools. third, we have not compared results from respondents who have received mt and/or pe training and those who have not. finally, it would be relevant to conduct the same study with people who are not translation experts but rather experts in the fields related to the topics of the texts (zoology and medicine), and see whether, as experts of the terminology in these fields, they are better than translation specialists at identifying mt outputs. these aspects are left open for future research. a. les chercheurs ont nommé cette nouvelle espèce et l'ont utilisée, avec quelques autres espèces anciennes connues de la science, pour analyser l'histoire évolutive des tardigrades dans un article publié plus tôt ce mois-ci dans communications biology. b. les chercheurs ont nommé la nouvelle espèce et l'ont utilisée, ainsi que la poignée d'autres espèces anciennes connues de la science, pour analyser l'histoire évolutive des tardigrades dans la revue communications biology, publiée au début du mois. c. après lui avoir attribué un nom, les chercheurs se sont servis de cette nouvelle espèce et de la poignée d'autres espèces anciennes déjà connues pour analyser l'histoire de l'évolution des tardigrades et ont publié leurs conclusions dans communications biology plus tôt ce mois-ci. d. les chercheurs ont donc donné son nom à la nouvelle espèce, puis l'ont utilisée ainsi qu'une poignée d'autres espèces préhistoriques connues de la science afin d'analyser la chronologie de l'évolution des tardigrades. cette analyse a été publiée plutôt ce mois-ci, sur le site communications biology. 8. fossilized within the ancient tree resin that forms today's amber, the two tardigrades had been waiting decades for a good look. paleontologists could barely make out the b. leggi fossil in the canadian specimen when they first described it 1964. now, thanks to enhanced imaging technology, mapalo and colleagues were able to get a much more detailed look. a. fossilisés dans l'ancienne résine d'arbre qui forme aujourd'hui l'ambre, les deux tardigrades attendaient depuis des décennies un bon regard. les paléontologues ont à peine pu distinguer le fossile de b. leggi dans le spécimen canadien lorsqu'ils l'ont décrit pour la première fois en 1964. grâce à la technologie d'imagerie améliorée, mapalo et ses collègues ont pu obtenir un regard beaucoup plus détaillé. b. fossilisés dans l'ancienne résine d'arbre qui forme l'ambre d'aujourd'hui, les deux tardigrades attendaient depuis des décennies de pouvoir être observés. les paléontologues pouvaient à peine distinguer le fossile de b. leggi dans le spécimen canadien lorsqu'ils l'ont décrit pour la première fois en 1964. aujourd'hui, grâce à une technologie d'imagerie améliorée, mapalo et ses collègues ont pu obtenir un aperçu beaucoup plus détaillé. c. fossilisés dans de l'ancienne résine d'arbre devenue aujourd'hui de l'ambre, les deux tardigrades ont attendu des dizaines d'années avant de pouvoir être étudiés en détail. lorsqu'ils ont décrit pour la première fois le spécimen canadien en 1964, les paléontologues pouvaient à peine distinguer le fossile de beorn leggi. aujourd'hui, grâce aux progrès de la technologie d'imagerie, marc mapalo et ses collègues ont pu profiter d'une vue bien plus détaillée. d. fossilisés dans l'ancienne résine d'arbre qui forme aujourd'hui l'ambre, les deux tardigrades attendaient depuis des décennies d'être examinés de plus près. les paléontologues pouvaient à peine discerner le fossile de b. leggi dans le spécimen canadien lorsqu'ils l'ont décrit pour la première fois en 1964. aujourd'hui, grâce à une technologie d'imagerie améliorée, mapalo et ses collègues ont pu l'examiner en détail. 9. "lots of tardigrade folks have pondered these fossils over the last 60 years but there was a hard limit to how much could be gleaned because the tardigrades were really small and a bit obscured by the amber," says new jersey institute of technology biologist phil barden, who was not involved in the new study. the animals are so small, he notes, that the tiny claws on their feet are about one tenth the width of a human hair. a. « beaucoup de tartariens ont réfléchi à ces fossiles au cours des 60 dernières années, mais il y avait une limite stricte à la quantité qu'ils pouvaient récolter parce que les tardigrades étaient vraiment petits et un peu obscurcis par l'ambre », dit le biologiste du new jersey institute of technology, phil barden. qui n'a pas participé à la nouvelle étude. les animaux sont si petits, note-t-il, que les petites griffes sur leurs pieds font environ un dixième de la largeur d'un poil humain. b. d'après phil barden, biologiste au new jersey institute of technolgy, qui n'a pas participé à la nouvelle étude, « de nombreux spécialistes des tardigrades se sont penchés sur ces fossiles au cours des 60 dernières années, mais la quantité d'informations à recueillir était très faible, car les tardigrades étaient vraiment minuscules et un peu occultés par l'ambre. ces animaux sont tellement petits, ajoute-t-il, que les minuscules griffes au bout de leurs pattes sont environ dix fois moins épaisses qu'un cheveu humain ». c. « au cours des 60 dernières années, de nombreux spécialistes des tardigrades ont étudié ces fossiles, mais ils n'étaient pas en mesure d'en extraire beaucoup d'informations en raison de la taille très réduite des spécimens et de l'obscurcissement provoqué par l'ambre », explique le biologiste phil barden, du new jersey institute of technology, qui n'a pas participé à la nouvelle étude. il ajoute que ces animaux sont si petits que leurs minuscules griffes font environ un dixième de la largeur d'un cheveu humain. d. « de nombreux chercheurs de tardigrades ont étudié ces fossiles au cours des 60 dernières années, mais il y avait une limite stricte à ce que l'on pouvait en glaner, car les tardigrades étaient vraiment petits et un peu cachés par l'ambre », explique phil barden, biologiste au new jersey institute of technology, qui n'a pas participé à la nouvelle étude. les animaux sont si petits, note-t-il, que les minuscules griffes de leurs pattes font environ un dixième de la largeur d'un cheveu humain. 10. only amber can preserve tardigrades in such minute detail. a. seul l'ambre permet de conserver les tardigrades aussi intacts. b. seul l'ambre peut préserver les tardigrades avec autant de détails. c. seul l'ambre peut préserver les tardigrades avec un tel niveau de détail minutieux. d. seul l'ambre peut préserver les tardigrades avec un tel détail. 11. the rarity of tardigrade fossils, however, is not just attributable to their tiny size. a. la rareté des fossiles de tardigrades n'est toutefois pas uniquement due à leur taille minuscule b. la rareté des fossiles de tardigrades n'est cependant pas uniquement attribuable à leur petite taille. c. la rareté des fossiles de tardigrades n'est toutefois pas seulement due à leur petite taille d. toutefois, si les fossiles de tardigrades sont rares, ce n'est pas seulement à cause de leur taille. 12. just a few paleontologists study fossil tardigrades, mapalo says, noting that some colleagues react with surprise that any fossil tardigrades are known at all. a. « seuls quelques paléontologues étudient les fossiles de tardigrades », indique marc mapalo, en précisant que « certains de ses collègues sont même surpris que des fossiles de tardigrades puissent exister ». b. seuls quelques paléontologues étudient les fossiles de tardigrades, dit mapalo, notant que certains de ses collègues sont surpris d'apprendre que des fossiles de tardigrades existent même. c. seuls quelques paléontologues étudient les tardigrades fossiles, explique mapalo, notant que certains collègues réagissent avec surprise à l'idée que des fossiles de tardigrades soient connus. d. seuls quelques paléontologues étudient les tardigrades fossiles, explique m. mapalo, qui note que certains de ses collègues s'étonnent que l'on connaisse des tardigrades fossiles.