# L'utilisation de ChatGPT 3.5 pour la rétroaction corrective écrite interactive en enseignement-apprentissage du français langue seconde : une étude exploratoire

Taegan Holmes

► To cite this version:

Taegan Holmes. L'utilisation de ChatGPT 3.5 pour la rétroaction corrective écrite interactive en enseignement-apprentissage du français langue seconde: une étude exploratoire. Actes des Journées de linguistique, 2024, 1, pp.17-30. 10.70637/xvc8m613. halshs-04887641

HAL Id: halshs-04887641

https://shs.hal.science/halshs-04887641v1

Submitted on 15 Jan 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
ACTES

DES XXXVIIes JOURNÉES DE LINGUISTIQUE

6 et 7 mars 2024

Les JdL
Journées de linguistique

<figure><img src="image_2.png" /></figure>

GABRIEL FRAZER-MCKEE

NICOLAS GIGNAC

LINDA WONG
Les Actes des XXXVIles Journées de Linguistique (2024)

Université Laval (Québec, Québec, Canada)

https://www.jdl.lli.ulaval.ca/

# L'utilisation de ChatGPT 3.5 pour la rétroaction corrective écrite interactive en enseignement-apprentissage du français langue seconde : une étude exploratoire

Taegan Holmes (étudiante au 3e cycle)

ORCID : https://orcid.org/0009-0005-9449-704X

Université d'Ottawa, Canada
L'institut des langues officielles et du bilinguisme

Université Lumière Lyon 2, France
Laboratoire ICAR

Soumission initiale reçue le 27 mai 2024
Versions révisées reçues le 01 et le 22 septembre 2024
Accepté pour publication le 22 septembre 2024
Publié en ligne le 30 septembre 2024
Abstract

Generative artificial intelligence (GenAI) tools are becoming increasingly accessible, which makes it imperative to critically examine their potential impact in the educational environment, as well as the ways in which they can be integrated to enable learners to benefit from them. ChatGPT (OpenAI, 2024) is a conversational GenAI tool with which users can interact. The interactive nature of this tool seems to suggest affordances in language teaching and learning, specifically for textual revision. This exploratory study focuses on the use of ChatGPT for interactive written corrective feedback (WCF) in French as a second language. Participants (n=22) were French as a second language learners in a second-year university course. They first answered a questionnaire about their self-corrective practices for French writing tasks. Then, during a one-off intervention, they interacted with ChatGPT to solicit interactive WCF during synchronous exchanges. Finally, the participants answered a questionnaire about this experience and their perceptions of AI. A taxonomic analysis (Bilmes, 2009) within the framework of a qualitative content analysis (Selvi, 2019) was undertaken to develop typologies to classify the messages in the collected discussion threads. The quality of ChatGPT's responses was also analyzed. The results show that many different types of prompts were created, but there were discrepancies in the degree of participant engagement. That said, the vast majority of participants claim to have benefited from this experience. ChatGPT's responses were largely correct and appropriate, but the quality of the prompt was found to affect the quality of the response it solicits. The results of this study seem to demonstrate that ChatGPT could be a useful tool for interactive WCF in French language learning, however, more research is needed.

Keywords: ChatGPT; written corrective feedback; textual revision; interaction

Résumé

Les outils d'intelligence artificielle générative (IAG) deviennent de plus en plus accessibles et conséquemment, il est impératif d'examiner d'un œil critique leurs impacts potentiels dans le milieu éducatif, ainsi que les manières de les y intégrer pour permettre aux apprenants d'en tirer profit. ChatGPT (OpenAI, 2024) est un outil d'IAG conversationnel avec lequel les utilisateurs peuvent entrer en interaction. La nature interactive de cet outil semble proposer des affordances en enseignement-apprentissage des langues, plus précisément pour la révision textuelle. Cette étude exploratoire porte sur l'utilisation de ChatGPT pour la rétroaction corrective écrite (RCÉ) interactive en français langue seconde. Les participants (n=22) sont des apprenants de français langue seconde dans un cours de deuxième année universitaire. Ils ont d'abord répondu à un questionnaire
portant sur leurs pratiques autocorrectives pour les tâches de rédaction en français. Ensuite, lors d'une intervention ponctuelle, ils ont interagi avec ChatGPT pour solliciter une RCÉ interactive au sein d'échanges synchrones. Enfin, les participants ont répondu à un questionnaire portant sur cette expérience et sur leurs perceptions de l'IA. Une analyse taxonomique (Bilmes, 2009) s'inscrivant dans le cadre de l'analyse qualitative du contenu (Selvi, 2019) a été entreprise pour développer des typologies pour classer les messages dans les fils de discussion recueillis. La qualité des réponses de ChatGPT a aussi été analysée. Les résultats démontrent qu'un grand nombre de différents types de requêtes ont été créés, mais on constate des écarts concernant le degré d'engagement des participants. Cela dit, la grande majorité des participants déclarent avoir tiré profit de cette expérience. Les réponses de ChatGPT étaient majoritairement correctes et appropriées, mais il reste que la qualité de la requête affecte la qualité de la réponse qu'elle sollicite. Les résultats de cette étude semblent démontrer que ChatGPT pourrait être un outil utile pour la RCÉ interactive en apprentissage du français ; plus de recherches sont nécessaires.

**Mots-clés :** ChatGPT; rétroaction corrective écrite; révision textuelle; interaction

# 1. Introduction

De récentes avancées dans le domaine de l'intelligence artificielle (IA) suscitent de l'intérêt dans de nombreux domaines, y compris en enseignement-apprentissage des langues. Aujourd'hui, on s'intéresse surtout aux grands modèles de langage (GML), qui sont des outils d'intelligence artificielle générative (IAG). Les GML sont des outils conversationnels qui permettent aux utilisateurs d'entrer en interaction avec une machine par le biais de requêtes (Office québécois de la langue française, 2023).

Un GML particulièrement populaire est ChatGPT, lancé par l'entreprise OpenAI en 2022. ChatGPT a été entraîné à répondre aux instructions des utilisateurs (soumises sous forme de requêtes textuelles) de manière détaillée (OpenAI, 2024). Afin de formuler ses réponses, ChatGPT emploie de nombreuses stratégies, dont un algorithme de prédiction textuelle qui vise à produire la réponse la plus probable à chaque requête.

Les résultats de nombreuses études (voir Fang et coll., 2023; Wu, Wang, Wan, Jiao & Lyu 2023) semblent démontrer que ChatGPT propose des affordances en enseignement-apprentissage des langues, surtout en ce qui a trait à la rétroaction corrective écrite (RCÉ). Pour pouvoir s'améliorer en langue seconde, les apprenants ont besoin de recevoir une RCÉ sur leurs productions écrites (Woodworth & Barkaoui, 2020). D'ailleurs, un grand nombre de chercheurs et d'enseignants reconnaissent l'importance de la RCÉ (Bitchener & Ferris, 2011; Hamel & Bibeau, 2021). Bien qu'il existe de nombreux types de RCÉ, il n'y a aucun consensus sur le type le plus efficace.
Cela dit, les recherches montrent que la RCÉ synchrone (immédiate) semble être bénéfique (Arroyo & Yilmaz, 2018 ; Shintani, 2016 ; Shintani & Aubrey, 2016). La nature conversationnelle de ChatGPT permet justement aux utilisateurs de solliciter une RCÉ non seulement immédiate, mais interactive aussi.

Les recherches récentes sur ChatGPT mettent en lumière plusieurs de ses capacités linguistiques, qui se prêtent particulièrement bien à la RCÉ. D'une part, d'après l'étude de Fang et coll. (2023), ChatGPT peut corriger les erreurs grammaticales en anglais, en allemand et en chinois avec un haut degré de précision. Les résultats des études de Coyne, Sakaguchi, Galvan-Sosa, Zock & Inui (2023) et de Wu et coll. (2023) corroborent le fait que ChatGPT est un correcteur linguistique puissant pour la langue anglaise. D'autre part, ChatGPT est en mesure de fournir des réponses et des rétroactions personnalisées (Holmes, 2024 ; Su, Lin & Lai, 2023). Enfin, selon les résultats de l'étude de Jiao et coll. (2023), ChatGPT possède une bonne capacité pour la traduction automatique, surtout pour les langues à haut niveau de ressources. Cela dit, il existe, à notre connaissance peu d'études explorant son potentiel didactique pour le français.

Bien que ChatGPT semble proposer de nombreuses affordances, il n'est pas dépourvu de limites. D'abord, en tant que générateur de contenu, ChatGPT tente de produire la réponse la plus probable, ce qui n'est pas toujours la réponse la plus correcte (OpenAI, 2024). La machine peut aussi fabuler (Bang, 2023 ; Kaplan-Rakowski, 2023), c'est-à-dire partager des informations incorrectes tout en les présentant comme si elles étaient vraies. ChatGPT repose sur des modèles de langage qui utilisent l'apprentissage profond pour prédire le mot suivant dans une séquence, en s'appuyant sur des probabilités calculées à partir d'énormes quantités de données textuelles qui ont servi à son entraînement. Bien que cette approche probabiliste soit efficace pour produire des réponses cohérentes et plausibles, elle peut également générer des informations incorrectes ou inventées. Les résultats des études de Fang et coll. (2023) et de Wu et coll. (2023) ont par ailleurs trouvé que ChatGPT a tendance à surcorriger.

De concert avec Guichon (2024), nous croyons que, bien que les outils comme ChatGPT aient des limites et qu'il existe des préoccupations autour de leur intégration dans le milieu scolaire, il ne faut pas que les enseignants en interdisent accès à leurs étudiants. Au contraire, il faut former les apprenants à les exploiter de manière efficace. Pour ce faire, il est nécessaire de mener des études empiriques pour mieux comprendre les manières utiles et efficaces d'exploiter les nouveaux outils technologiques. Ainsi, cette étude arrive à un moment opportun pour offrir une vue préliminaire et exploratoire sur l'utilisation de ChatGPT pour la RCÉ interactive en apprentissage du français langue seconde (FLS).
# 2. Méthodes

## 2.1 Objectifs

Les résultats des études empiriques récentes, ainsi que la nature interactive de ChatGPT (OpenAI, 2024) semblent suggérer que ce dernier pourrait être un outil utile pour fournir une RCÉ interactive aux apprenants de FLS lors d'échanges synchrones. Dans cette optique, les questions de recherche qui suivent ont été formulées :

1. Quelles pratiques autocorrectives les participants déclarent-ils utiliser actuellement pour réviser leurs tâches de rédaction?

2. Comment les participants se servent-ils de ChatGPT<fnref n="1" /> pour obtenir de la RCÉ afin de réviser leur texte écrit?

3. Comment ChatGPT<fnref n="1" /> répond-il aux requêtes des participants, en termes de précision, pertinence et satisfaction des attentes?

4. Les attitudes des participants envers l'IA évoluent-elles après avoir réalisé un exercice impliquant une RCÉ de ChatGPT<fnref n="1" /> ?

Pour répondre à ces questions de recherche, une étude comportant trois volets a été conçue : un questionnaire prétâche portant sur les pratiques de révision textuelle des participants ; une tâche de rédaction et de révision interactive avec ChatGPT (version 3.5)<fnref n="1" /> et un questionnaire post-tâche portant sur cette expérience. Avant de procéder à la collecte de données, une approbation éthique a été obtenue (numéro du dossier : S-07-23-9440).

## 2.2 Données

Les participants de cette étude étaient des étudiants de niveau intermédiaire faible (B1) en français inscrits à un cours de FLS de deuxième année à l'Université d'Ottawa (n=22). La professeure qui donnait ce cours a téléversé un formulaire de consentement sur le site web du cours et les données collectées et analysées dans la présente étude sont uniquement celles des étudiants ayant donné leur accord de participation. 24 étudiants ont donné leur accord pour participer à cette étude, mais en raison de problèmes techniques, les données de seulement 22 participants étaient utilisables.

Les participants ont d'abord répondu à un questionnaire numérique qui a été partagé sur le site web du cours portant sur leurs pratiques autocorrectives pour les tâches de rédaction en français. Ce questionnaire comprenait des affirmations que les participants ont évaluées avec des échelles de Likert.

Les participants ont pris part à une intervention ponctuelle pendant laquelle ils ont rédigé un court texte qu'ils ont ensuite révisé à l'aide de ChatGPT. Pendant cette

<footnote n="1">¹ Dans cette étude, à partir de cette note de bas de page, le terme « ChatGPT » réfère exclusivement à la version 3.5.</footnote>
intervention, nous leur avons présenté ChatGPT, ainsi qu’un exemple d’interaction avec la machine pour solliciter une RCÉ. Ensuite, les participants ont rédigé leurs textes (une introduction à un vox pop de 100 à 150 mots ; une tâche adaptée du cours de FLS auquel ils étaient inscrits) directement dans ChatGPT. Cette tâche n’était pas évaluée. Les participants ont ensuite interagi avec ChatGPT pour réviser leurs textes à l’aide de deux requêtes imposées ; 1. *Révise ce texte : [introduction] et ensuite 2. Explique toutes les révisions.* Les étudiants ont été encouragés à entrer en interaction avec ChatGPT afin de solliciter des précisions, de négocier le sens et la forme et de poser des questions de suivi dans le but de mieux comprendre les rétroactions proposées. Les participants ont été accordés environ une heure pour rédiger et réviser leurs textes à l’aide de ChatGPT. Les liens vers leurs fils de discussion avec ChatGPT ont été recueillis.

Enfin, les participants ont répondu à un deuxième questionnaire numérique portant sur l'expérience d'utiliser ChatGPT pour la RCÉ, ainsi que sur leurs perceptions de l'IA. Le deuxième questionnaire comprenait des affirmations visant à évaluer la facilité d'utilisation de ChatGPT que les participants ont évaluées en utilisant des échelles de Likert, ainsi qu'une question à réponse ouverte portant sur les types de requêtes qui ont sollicité des rétroactions utiles.

## 2.3 Analyses

Pour analyser les données quantitatives récoltées par les questionnaires, le décompte des réponses pour chaque question a été effectué. Les fils de discussion ont été recueillis et analysés dans le logiciel NVivo à l'aide d'une analyse taxonomique (Bilmes, 2009) s'inscrivant dans le cadre de l'analyse qualitative du contenu (Selvi, 2019), ce qui a permis l'élaboration de deux typologies pour classer d'abord les différentes requêtes créées par les participants et ensuite les réponses de ChatGPT. Cette méthode d'analyse a été réutilisée pour analyser les réponses à la question ouverte dans le deuxième questionnaire. Les fils de discussion ont aussi été décortiqués pour obtenir des données quantitatives, telles que le nombre de mots par fil de discussion, le nombre de tours de parole, le nombre de requêtes imposées et le nombre de requêtes additionnelles. Enfin, l'alignement entre les requêtes et les réponses, ainsi que la qualité des réponses fournies par ChatGPT, ont été analysés.

# 3. Résultats

## 3.1 Analyse du questionnaire préintervention

Le premier questionnaire visait à recueillir des données portant sur les pratiques autocorrectives des participants pour les tâches de rédaction en français. Parmi les 22 participants, 90,1 % ont déclaré toujours ou souvent corriger les textes qu'ils rédigent en français, en utilisant surtout des outils numériques. Seulement 22,7 % des participants ont déclaré toujours ou souvent utiliser les outils traditionnels tels que les dictionnaires papier, tandis que 77,3 % des participants ont déclaré toujours
ou souvent utiliser les outils de correction linguistique numériques tels que les correcticiels et les logiciels de traitement de texte. La majorité des participants (86,4 %) ont déclaré être satisfaits de ces outils et d'avoir confiance dans l'exactitude de leurs corrections. Toutefois, 63,6 % des participants ont déclaré vouloir pouvoir interagir avec les outils qu'ils exploitent. 31,8 % des participants n'utilisent jamais ou rarement les outils d'IA pour corriger les textes qu'ils rédigent en français. Bien que l'utilisation d'outils d'IA ne soit pas une pratique répandue chez les participants, la majorité des participants (54,5 %) ont déclaré avoir des opinions positives ou plutôt positives de l'IA.

<table><caption>**Tableau 1.** Tableau de synthèse des résultats au premier questionnaire.</caption><thead><tr><td>Affirmation</td><td>Toujours</td><td>Souvent</td><td>Parfois</td><td>Rarement</td><td>Jamais</td></tr></thead><tbody><tr><td>Je corrige les textes que j'écris en français.</td><td>7</td><td>13</td><td>1</td><td>0</td><td>1</td></tr><tr><td>J'utilise les outils traditionnels (les dictionnaires français et les Bescherelles en papier, etc.) pour corriger les textes que j'écris en français.</td><td>1</td><td>4</td><td>7</td><td>7</td><td>3</td></tr><tr><td>J'utilise les outils numériques pour corriger les textes que j'écris en français.</td><td>8</td><td>9</td><td>2</td><td>0</td><td>2</td></tr><tr><td>J'utilise les outils d'intelligence artificielle quand je corrige les textes que j'écris en français</td><td>2</td><td>5</td><td>3</td><td>3</td><td>9</td></tr></tbody></table>

## 3.2 Analyse des fils de discussion

Avant de procéder à l'analyse du contenu des messages dans les fils de discussion, le corpus de fils de discussion a été décortiqué selon le nombre de mots, le nombre de tours de parole et le nombre de requêtes (imposées et additionnelles). Une synthèse de ces données est présentée dans le Tableau 2 ci-dessous. En tout, le corpus comprend 17331 mots et 220 tours de parole, répartis en 110 requêtes des participants et 110 réponses de ChatGPT. En moyenne, les fils de discussion sont constitués de 787,7 mots (±363,5) et 10 tours de parole (±4,5). Les participants ont employé en moyenne 1,9 requête imposée (±0,4) (P7, P17 et P22 ont omis la deuxième requête imposée) et 3 nouvelles requêtes dans leurs fils de discussion (±2,3). Les participants ont produit 67 nouvelles requêtes. Une première typologie a été développée afin de classer les requêtes des étudiants selon les buts qu'ils visaient
<table><caption>**Tableau 2.** Tableau de synthèse du décompte des fils de discussion.</caption><thead><tr><td>Variable</td><td>Moyenne</td><td>Écart type</td><td>Médiane</td><td>Minimum</td><td>Maximum</td></tr></thead><tbody><tr><td>Nombre de mots (total)</td><td>787,7</td><td>363,5</td><td>652,5</td><td>399</td><td>1656</td></tr><tr><td>Nombre de tours de parole</td><td>10</td><td>4,5</td><td>10</td><td>4</td><td>20</td></tr><tr><td>Nombre de requêtes imposées</td><td>1,9</td><td>0,4</td><td>2</td><td>1</td><td>2</td></tr><tr><td>Nombre de nouvelles requêtes</td><td>3</td><td>2,3</td><td>3</td><td>0</td><td>8</td></tr></tbody></table>

<table><caption>**Tableau 3.** Tableau de synthèse des requêtes des participants.</caption><thead><tr><td>Catégorie</td><td>Description</td><td>Nombre de requêtes</td></tr></thead><tbody><tr><td>Requête imposée</td><td>Les deux requêtes imposées : (révise ce texte et explique toutes les révisions).</td><td>43</td></tr><tr><td>Clarification</td><td>Les requêtes sollicitant des clarifications et des explications additionnelles portant sur le texte révisé, le texte original, ou concernant les deux à la fois.</td><td>42</td></tr><tr><td>Socialisation avec la machine</td><td>Les requêtes saluant, remerciant ou complimentant ChatGPT.</td><td>11</td></tr><tr><td>Désaccord</td><td>Les requêtes où le participant exprime son désaccord avec ChatGPT.</td><td>6</td></tr><tr><td>Question autre</td><td>Les requêtes posant des questions non liées à la révision textuelle.</td><td>3</td></tr><tr><td>Révision</td><td>Les requêtes sollicitant une révision additionnelle ou portant sur une révision additionnelle.</td><td>3</td></tr><tr><td>Modification</td><td>Les requêtes demandant à ChatGPT de modifier le texte.</td><td>2</td></tr></tbody></table>
à accomplir. Le Tableau 3 ci-dessus résume les catégories de requêtes, leurs descriptions, ainsi que le nombre de requêtes dans chaque catégorie.

La catégorie de requêtes la plus fréquente est celle des requêtes imposées (43). Viennent ensuite, avec 42 occurrences, les requêtes de clarification visant à solliciter des précisions et des explications additionnelles. Onze requêtes visaient à socialiser avec la machine (soit en la saluant, la remerciant ou la complimentant) et six occurrences où les participants ont manifesté leur désaccord avec ChatGPT. Trois requêtes étaient des questions non liées à la révision textuelle (questions autres). Trois autres requêtes sollicitaient ou portaient sur une révision additionnelle, c'est-à-dire une révision autre que la révision initiale sollicitée par la première requête imposée. Enfin, les participants ont demandé à ChatGPT d'effectuer une modification à deux reprises.

<table><caption>**Tableau 4.** Tableau de synthèse des réponses de ChatGPT.</caption><thead><tr><td>Catégorie</td><td>Description</td><td>Nombre de requêtes</td></tr></thead><tbody><tr><td>Réponse attendue</td><td>Les réponses de ChatGPT répondant aux deux requêtes imposées.</td><td>43</td></tr><tr><td>Clarification</td><td>Les réponses fournissant une précision ou une explication additionnelle portant sur le texte révisé, le texte original, ou concernant les deux à la fois.</td><td>33</td></tr><tr><td>Socialisation avec le participant</td><td>Les réponses de socialisation telles que les salutations, les remerciements, etc.</td><td>11</td></tr><tr><td>Liste</td><td>Les réponses fournissant une liste d'éléments.</td><td>7</td></tr><tr><td>Concession</td><td>Les réponses où ChatGPT concède une erreur ou propose un compromis.</td><td>4</td></tr><tr><td>Modification</td><td>Le texte avec des modifications autres que celles effectuées pendant la révision initiale.</td><td>4</td></tr><tr><td>Autocorrection</td><td>Les réponses où ChatGPT reconnaît sa propre erreur et la corrige.</td><td>4</td></tr><tr><td>Réponse autre</td><td>Les réponses aux questions hors sujet.</td><td>3</td></tr><tr><td>Révision</td><td>Les réponses fournissant le texte révisé une deuxième fois.</td><td>1</td></tr></tbody></table>
Une deuxième typologie a été élaborée afin de catégoriser les réponses de ChatGPT en fonction des processus discursifs observés dans les échanges (voir le Tableau 4 ci-dessus).

Les 43 réponses dans la catégorie de réponse attendue répondaient aux deux requêtes imposées avec le texte révisé et les explications des révisions effectuées. 33 réponses de type clarification contenaient des précisions ou des explications additionnelles. Onze réponses de ChatGPT étaient des messages de socialisation, comme des salutations et des remerciements. À sept occasions, ChatGPT a répondu aux participants avec une liste d'éléments, par exemple une liste d'expressions alternatives pour remplacer un extrait dans le texte. ChatGPT a concédé une erreur à quatre reprises (concession) et a répondu avec une version modifiée du texte quatre fois (modification). La machine a reconnu sa propre erreur et l'a corrigée quatre fois (autocorrection). ChatGPT a répondu aux questions autres trois fois et a repartagé le texte révisé une fois (révision).

L'alignement des requêtes et des réponses a été analysé afin de déterminer quels types de requêtes ont sollicité quels types de réponses. La Figure 1 est une représentation visuelle de l'alignement requête-réponse.

<figure><img src="image_3.png" /><figcaption>**Figure 1. Diagramme de l'alignement requête-réponse.**</figcaption></figure>

La Figure 1 illustre que certaines catégories de requêtes sont en étroite corrélation avec des catégories de réponses. Par exemple, les requêtes imposées ont toujours sollicité des réponses attendues. Il y a aussi des requêtes dans une même catégorie ayant sollicité des réponses dans différentes catégories. Les 42 requêtes de clarification ont sollicité surtout des réponses de clarification (29), mais également
cinq réponses dans la catégorie liste, deux concessions, quatre autocorrections, une modification et une réponse dans la catégorie révision.

Une analyse préliminaire de la qualité des réponses de ChatGPT a aussi été effectuée. Des 110 réponses de ChatGPT, 20 (18,2 %) ont été jugées incorrectes ou inappropriées. La moitié de ces réponses sont soit des occasions où ChatGPT prétend avoir effectué une modification qui n'a pas été faite, soit des occasions où la machine classe incorrectement une révision effectuée. Quatre des vingt réponses incorrectes étaient des réponses où ChatGPT fabule (Bang, 2023 ; Kaplan-Rakowski, 2023) ou partage une information incorrecte. Enfin, à six reprises, des requêtes mal formulées ou imprécises ont sollicité des réponses inappropriées.

### 3.3 Analyse du questionnaire post-intervention

Le questionnaire post-intervention a porté sur les perceptions des participants à l'égard de l'IA après avoir utilisé ChatGPT pour la RCÉ interactive, ainsi que sur les affordances et les limites perçues de son utilisation pendant le processus de révision textuelle.

La grande majorité des participants (81,2 %) étaient d'accord ou plutôt d'accord d'avoir aimé utiliser ChatGPT pour corriger leurs textes. 90,1 % des participants étaient d'accord ou plutôt d'accord qu'utiliser ChatGPT pour la correction était facile. D'après la majorité des participants les explications de ChatGPT étaient toujours ou souvent claires (95,5 %), logiques (90,1 %) et cohérentes (95,5 %). 86,4 % des participants ont déclaré être d'accord ou plutôt d'accord d'avoir confiance dans les corrections de ChatGPT. La majorité des participants (54,5 %) n'ont pas changé d'opinion à l'égard de l'IA après avoir utilisé ChatGPT pour la RCÉ interactive, mais parmi ceux ayant changé d'avis, 90 % affichaient désormais une perception de l'IA plus positive qu'auparavant. Enfin, les participants ont indiqué que les requêtes imposées et les requêtes sollicitant une clarification leur étaient les plus utiles.

## 4. Discussion

Cette étude exploratoire s'est intéressée à l'utilisation de ChatGPT 3.5 pour la rétroaction corrective écrite interactive dans le contexte de l'enseignement-apprentissage du français langue seconde. Elle s'articulait autour de quatre questions de recherche :

1. Quelles pratiques autocorrectives les participants déclarent-ils utiliser actuellement pour réviser leurs tâches de rédaction?

2. Comment les participants se servent-ils de ChatGPT pour obtenir de la RCÉ afin de réviser leur texte écrit?

3. Comment ChatGPT répond-il aux requêtes des participants, en termes de précision, pertinence et satisfaction des attentes?
4. Les attitudes des participants envers l'IA évoluent-elles après avoir réalisé un exercice impliquant une RCÉ de ChatGPT ?

Nous abordons chacune de ces questions dans les sous-sections qui suivent.

### 4.1 QR1 : Quelles pratiques autocorrectives les participants déclarent-ils utiliser actuellement pour réviser leurs tâches de rédaction?

L'analyse des réponses au premier questionnaire a permis de constater que la majorité des participants corrigent les textes qu'ils rédigent en français et privilégient, pour ce faire, les outils de correction numériques. Ils ont déclaré être majoritairement satisfaits des outils qu'ils exploitent et ont exprimé un haut degré de confiance dans les corrections offertes par ces outils.

### 4.2 QR2 : Comment les participants se servent-ils de ChatGPT pour obtenir de la RCÉ afin de réviser leur texte écrit?

L'analyse des fils de discussion a relevé que certains participants ont été plus engagés que d'autres pendant la révision textuelle avec ChatGPT. P5, P9 et P14 n'ont envoyé que les requêtes imposées et ne sont pas entrés en interaction avec la machine pour solliciter des précisions, pour poser des questions de suivi ou pour négocier le sens, ainsi démontrant un faible degré d'engagement avec la tâche linguistique (Egbert, 2020). En revanche, certains participants comme P18, P19 et P20 ont interagi avec ChatGPT pour discuter des rétroactions sollicitées, ce qui semble démontrer plus d'engagement de leur part (Op. cit). D'après les résultats de l'étude de Koltovskaia (2020), les apprenants de langue seconde ont souvent des pratiques autocorrectives uniques. Il n'est donc pas surprenant qu'il existe un si grand écart entre les degrés d'engagement des participants pendant leurs échanges avec ChatGPT.

### 4.3 QR3 : Comment ChatGPT répond-il aux requêtes des participants, en termes de précision, pertinence et satisfaction des attentes?

Pour sa part, ChatGPT a bien effectué la révision des textes soumis lors de la révision initiale. Cela corrobore les résultats de Coyne et collab. (2023), de Fang et collab. (2023) et de Wu et collab. (2023) que la machine peut effectuer la correction des erreurs grammaticales dans une langue à haut niveau de ressources (ex. l'anglais, le français) avec un haut degré de précision. De concert avec Fang et collab. (2023) et Loem et collab. (2023), les résultats de cette étude démontrent que la qualité de la requête a un impact significatif sur la qualité de la réponse qu'elle sollicite.

L'analyse de l'alignement requête-réponse démontre que ChatGPT semble adopter une approche de cas par cas pour formuler ses réponses, en tenant en compte les informations incluses dans les différentes requêtes pour y répondre de manière pertinente et précise tout en évitant l'emploi de réponses préformattées qui pourraient manquer de pertinence. Ceci corrobore le fait que ChatGPT est en mesure de fournir des réponses et des rétroactions personnalisées (Su et collab., 2023).
Cependant, les requêtes imprécises ou mal formulées peuvent solliciter des réponses inappropriées ou incorrectes (Su et collab., 2023), ce qui souligne l'importance de bien formuler les requêtes.

## 4.4 QR4 : Les attitudes des participants envers l'IA évoluent-elles après avoir réalisé un exercice impliquant une RCÉ de ChatGPT ?

D'après les résultats au deuxième questionnaire, la majorité des participants n'ont pas changé d'opinion envers l'IA après avoir utilisé ChatGPT pour la RCÉ interactive. Toutefois, de ceux ayant changé d'avis, 90 % ont désormais une opinion plus positive qu'auparavant. Les participants ont déclaré avoir majoritairement aimé cette expérience et ont déclaré avoir tiré profit de leurs échanges avec ChatGPT. Cela dit, quelques participants ont rencontré des difficultés en ce qui concerne l'utilité, la clarté, la logique et la cohérence des réponses de ChatGPT.

# 5. Conclusion

Les résultats de cette étude exploratoire suggèrent que ChatGPT pourrait être un outil utile pour la RCÉ interactive en apprentissage du FLS. D'une part, ChatGPT est un correcteur linguistique puissant, capable de réviser des textes en français avec un haut degré de précision et de fournir des rétroactions personnalisées. Sa nature conversationnelle permet aux utilisateurs d'entrer en interaction pendant la révision textuelle pour solliciter des précisions et pour poser des questions de suivi. D'autre part, les participants à cette étude ont majoritairement tiré profit de leurs échanges avec la machine et ont déclaré avoir aimé cette expérience. Il est cependant essentiel de s'assurer que les étudiants (tout comme les enseignants) comprennent les affordances et les limites de ChatGPT pour la révision textuelle. Il est aussi important que les étudiants comprennent la différence entre utiliser ChatGPT comme outil pour la révision textuelle et l'utiliser pour effectuer son travail sans s'y impliquer personnellement. Les résultats de cette étude sont prometteurs, mais davantage de recherches sont nécessaires pour arriver à des conclusions plus sûres.

De futures recherches devraient inclure un plus grand échantillon, composé de participants de différents niveaux de compétence linguistique. Il serait aussi important de proposer une plus grande variété de tâches aux participants, incluant par exemple la rédaction d'un texte argumentatif ou d'une histoire fictive dans diverses conditions de réalisation (tâche notée ou non notée, contraintes de temps, etc.). Il serait également pertinent de mener des études sur les nouvelles versions de ChatGPT au fur et mesure de leur parution. Nous prévoyons approfondir cette thématique et d'explorer de nouvelles perspectives dans cette lignée dans le cadre de notre projet doctoral

Nombre de mots : 3843
# 6. Matériel connexe

Les documents en lien au processus d'évaluation de l'article sont stockés sur Figshare :

<https://doi.org/10.6084/m9 figshare.27001282>

<figure><img src="image_4.png" /></figure>

# 7. Remerciements

Je tiens à remercier ma superviseure de thèse, la Professeure Marie-Josée Hamel, ainsi que les évaluateurs du présent article.

# 8. Conflits d'intérêts

L'auteure déclare qu'elle n'a aucun conflit d'intérêt réel, potentiel ou perçu.

# 9. Références

Arroyo, D. C., & Yilmaz, Y. (2018). An open for replication study: The role of feedback timing in synchronous computer-mediated communication. *Language Learning, 68*(4), 942-972. <https://doi.org/10.1111/lang.12300>

Bang, Y., Cahyawijaya, S., Lee, N., Dai, W., Su, D., Wilie, B., Lovenia, H., Ji, Z., Yu, T., Chung, W., Do, Q. V., Xu, Y., & Fung, P. (2023). A multitask, multilingual, multimodal evaluation of ChatGPT on reasoning, hallucination, and interactivity. *Dans Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 675-718). Association for Computational Linguistics*. <https://aclanthology.org/2023.ijcnlp-main.45>

Bilmes, J. (2009). Taxonomies are for talking: Reanalyzing a Sacks classic. *Journal of Pragmatics, 41*(8), 1600-1610. <https://doi.org/10.1016/j.pragma.2008.10.008>

Bitchener, J., & Ferris, D. R. (2011). *Written corrective feedback in second language acquisition and writing* [livre numérique]. Routledge.
Coyne, S., Sakaguchi, K., Galvan-Sosa, D., Zock, M., & Inui, K. (2023). Analyzing the performance of GPT-3.5 and GPT-4 in grammatical error correction. *ArXiv*. https://doi.org/10.48550/arXiv.2303.14342 [Prépublication]

Creely, E. (2023). The possibilities, limitations, and dangers of generative AI in language learning and literacy practices. Dans *Proceedings of the International Graduate Research Symposium 2023* (pp. 1-14). University of Languages and International Studies (ULIS).

Egbert, J. (2020). Language task engagement (theory). Dans J. Egbert & M. F. Roe (Éds.), *Theoretical models for teaching and research*. Pressbooks. WSU Open Text.

Fang, T., Yang, S., Lan, K., Wong, D. F., Hu, J., Chao, L. S., & Zhang, Y. (2023). Is ChatGPT a highly fluent grammatical error correction system? *ArXiv*. https://doi.org/10.48550/arXiv.2304.01746 [Prépublication]

Guichon, N. (2024). Sur les traces de Richard Kern: Acknowledging the pivotal role of technologies in language education. *The Modern Language Journal*, 108(2), 1-4. https://doi.org/10.1111/modl.12931

Hamel, M. J., & Bibeau, L. D. (2021). Pratiques (numériques) de rétroaction corrective des enseignants de langue et prototype d'outil numérique pour les optimiser. *Apprentissage des langues et systèmes d'information et de communication*, 24(2). https://doi.org/10.4000/alsic.5550

Holmes, T. (2024). ChatGPT pour la rétroaction corrective écrite interactive en apprentissage du français langue seconde [Thèse de maîtrise, Université d'Ottawa]. uO Research. https://doi.org/10.20381/ruor-30407

Jiao, W., Wang, W., Huang, J. T., Wang, X., Shi, S., & Tu, Z. (2023). Is ChatGPT a good translator? Yes with GPT-4 as the engine. *ArXiv*. https://doi.org/10.48550/arXiv.2301.08745 [Prépublication]

Kaplan-Rakowski, R., Grotewold, K., Hartwick, P., & Papin, K. (2023). Generative AI and teachers’ perspectives on its implementation in education. *Journal of Interactive Learning Research*, 34(2), 313-338.

Koltovskaia, S. (2020). Student engagement with automated written corrective feedback (AWCF) provided by Grammarly: A multiple case study. *Assessing Writing*, 44, 100450. https://doi.org/10.1016/j.asw.2020.100450

Loem, M., Kaneko, M., Takase, S., & Okazaki, N. (2023). Exploring effectiveness of GPT-3 in grammatical error correction: A study on performance and controllability in prompt-based methods. In *Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023)* (pp. 205-219).

Office québécois de la langue française. (2023). Grand dictionnaire terminologique.

OpenAI. (2024). Introducing ChatGPT. https://openai.com/blog/chatgpt
Selvi, A. F. (2019). Qualitative content analysis. Dans J. McKinley & H. Rose (Eds.), *The Routledge handbook of research methods in applied linguistics* (pp. 440-452). Routledge. https://doi.org/10.4324/9780367824471-37

Shintani, N. (2016). The effects of computer-mediated synchronous and asynchronous direct corrective feedback on writing: A case study. *Computer Assisted Language Learning*, 29(3), 517-538. https://doi.org/10.1080/09588221.2014.993400

Shintani, N., & Aubrey, S. (2016). The effectiveness of synchronous and asynchronous written corrective feedback on grammatical accuracy in a computer-mediated environment. *The Modern Language Journal*, *100*(1), 296-319. https://doi.org/10.1111/modl.12317

Su, Y., Lin, Y., & Lai, C. (2023). Collaborating with ChatGPT in argumentative writing classrooms. *Assessing Writing*, 57, 100752. https://doi.org/10.1016/j.asw.2023.100752

Woodworth, J., & Barkaoui, K. (2020). Perspectives on using automated writing evaluation systems to provide written corrective feedback in the ESL classroom. *TESL Canada Journal*, *39*(2), 234-247. https://doi.org/10.18806/tesl.v37i2.1340

Wu, H., Wang, W., Wan, Y., Jiao, W., & Lyu, M. R. (2023). ChatGPT or Grammarly? Evaluating ChatGPT on grammatical error correction benchmark. *ArXiv. https://doi.org/10.48550/arXiv.2303.13648* [Prépublication]