# Plume humaine ou plume de ChatGPT ? Comparaison entre traduction, post-édition et post-édition par ChatGPT

Valentin Scourneau

► To cite this version:

Valentin Scourneau. Plume humaine ou plume de ChatGPT ? Comparaison entre traduction, post-édition et post-édition par ChatGPT. Mardi des Chercheurs 2025, Apr 2025, Valenciennes, France. hal-05023329

HAL Id: hal-05023329

https://hal.science/hal-05023329v1

Submitted on 7 Apr 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Plume humaine ou plume de ChatGPT ? Comparaison entre traduction, post-édition et post-édition par ChatGPT

## Contexte

La post-édition (modification de textes traduits automatiquement) prend de plus en plus en place sur le marché de la traduction. Les outils comme ChatGPT commencent à être utilisés dans ce secteur [1].

## État de l'art

Les scores de précision et de fluidité sont similaires pour la traduction et la post-édition humaines, mais **les évaluateurs semblent préférer la traduction à la post-édition** [2,3].

<figure><img src="image_2.png" /></figure>

Le vocabulaire et la syntaxe sont en général plus variés dans les traductions que dans les post-éditions, et la post-édition reste souvent plus proche de la syntaxe du texte source [4,5,6].

La post-édition automatique par ChatGPT semble augmenter la variété lexicale et syntaxique [7,8].

La préférence pour la traduction est-elle due à ces différences lexicales et syntaxiques ?

Où se situe ChatGPT par rapport à la traduction et à la post-édition ?

## Méthodologie

### Premier temps : récolte et analyse

Textes sources : 3 éditoriaux représentatifs du genre, en anglais, de +- 450 mots.

Par texte :

12 traductions vers le français, réalisées par des étudiants de Master 2

12 post-éditions (DeepL) vers le français, réalisées par des étudiants de Master 2

3 post-éditions (DeepL) vers le français, générées par ChatGPT (GPT-4o)

Analyse de mesures linguistiques relatives au lexique et à la syntaxe :

MATTR [9], HTra [10], SACr [11], ASTrED [11], mots sources non alignés [12], changements d'étiquetage morpho-syntaxique

Ensuite, analyse granulaire des différences de traduction révélées par ces mesures.

### Second temps : enquête sur la préférence

Présentation de 3 triplets traduction humaine - post-édition humaine - post-édition par ChatGPT, sans accès au texte source.

Les évaluateurs classent les traductions de chaque triplet selon leur ordre de préférence.

Les évaluateurs doivent ensuite deviner quelle traduction a été produite par quel procédé.

Il leur est demandé d'expliquer leur raisonnement dans un champ libre.

<figure><img src="image_3.png" /></figure>

Mode de traduction préféré des évaluateurs

Peut-on établir un lien entre les mesures calculées et le mode de traduction préféré ?

<figure><img src="image_4.png" /></figure>

Références et poster :