# Les outils numériques d'aide à la révision et à la correction en classe de français : réel levier pour l'apprentissage et l'évaluation de l'orthographe ?

Pascal Grégoire<fnref n="1" />

¹ Ph. D., Université du Québec en Abitibi-Témiscamingue (Canada), Centre de recherche interuniversitaire sur la formation et la profession enseignante

**Résumé.** Le numérique mène-t-il les élèves à améliorer leurs performances en écriture lors d'évaluations nationales ? Nous avons testé cette hypothèse auprès de 314 adolescent·e·s québécois·e·s dans une quasi-expérimentation. Trois dispositifs d'écriture numérique (traitement de texte [TT]; TT et correcticiel [TT+C]; TT+C et formation) ont été comparés à l'écriture manuscrite. L'analyse quantitative (ANOVA) du nombre d'erreurs montre des gains liés au correcticiel, mais seulement en orthographe (lexicale, grammaticale).

**Abstract.** Does digital technology lead students to improve their writing performance on national assessments? We tested this hypothesis with 314 Quebec adolescents in a quasi-experiment. Three digital writing devices (word processing [WP]; WP and corrective software [WP+C]; WP+C and training) were compared to handwriting. The quantitative analysis (ANOVA) of the number of errors shows gains linked to the corrective software, but only in spelling.

## 1. Épreuves nationales d'écriture

Plusieurs systèmes scolaires francophones occidentaux, tant en Amérique du Nord qu'en Europe, imposent aux élèves de réussir, à un moment ou à un autre de leur parcours, une ou des épreuves nationales d'écriture. Ces examens sont alors gérés selon un cahier de charges élaboré par une autorité éducative, souvent nationale ; par exemple, en France, l'épreuve écrite de français du baccalauréat est sous la responsabilité du ministère de l'Éducation nationale, de la Jeunesse et des Sports ; en Belgique, l'épreuve externe certificative (CESS) est du ressort de la Fédération Wallonie-Bruxelles ; en Suisse, l'examen de maturité est coordonné par la Commission suisse de maturité.

La situation n'est guère différente outre-Atlantique. Ainsi, au Québec, au cours de leurs années de scolarisation obligatoire, les élèves francophones doivent passer pas moins de quatre examens nationaux d'écriture en français : deux pendant l'enseignement primaire (4ᵉ et 6ᵉ années, soit l'équivalent du CM1 et de la 6ᵉ de collège, dans le système français), et deux pendant l'enseignement secondaire (2ᵉ et 5ᵉ années, soit l'équivalent de la 4ᵉ de collège et de la 1ᵉ de lycée, dans le système français). Ces quatre épreuves sont sous la responsabilité du ministère de l'Éducation<fnref n="1" /> du Québec, qui les conçoit et décrète les normes inhérentes à leur passation et à leur correction.

### 1.1. Le cas de l'épreuve unique de français, langue d'enseignement (5ᵉ année du secondaire)

La dernière des quatre épreuves d'écriture imposées aux élèves québécois·e·s, l'épreuve unique de français langue d'enseignement de 5ᵉ secondaire, survient pendant l'enseignement secondaire. Elle revêt une importance capitale, puisqu'elle sert à la sanction des études ; en effet, sa réussite est une des conditions d'obtention du diplôme d'études secondaires.

Lors de cette épreuve, on demande aux élèves de rédiger une lettre ouverte d'environ 500 mots en 3 heures 30, au plus. Afin de préparer les candidat·e·s, on leur remet, une semaine avant l'examen, un dossier de textes et

<footnote n="1">¹ L'organisation, et conséquemment l'appellation, du ministère de l'Éducation du Québec a changé fréquemment depuis 2000 : ministère de l'Éducation (MEQ, 1994-2005) ; ministère de l'Éducation, du Loisir et du Sport (MELS, 2005-2015) ; ministère de l'Éducation, de l'Enseignement supérieur et de la Recherche (MEESR, 2015-2016) ; ministère de l'Éducation et de l'Enseignement supérieur (MEES, 2016-2020) ; ministère de l'Éducation (MEQ, 2020-). Ces dénominations renvoient toutes, néanmoins, au ministère chargé de gérer l'enseignement offert aux ordres primaire et secondaire.</footnote>
d'activités préparatoires en lien avec le thème abordé. Le jour de l'épreuve, si ce cahier est interdit, une page de notes manuscrites qui en sont puisées est autorisée. De plus, les scripteur·rice·s sont autorisé·e·s à utiliser certains ouvrages de référence papier : dictionnaire général ou spécialisé unilingue français (ex. : dictionnaire de synonymes), grammaire, recueil de conjugaison.

Au terme des sessions d'examen, les copies des élèves font l'objet d'une correction centralisée par le ministère de l'Éducation. Cinq critères encadrent alors l'évaluation : 1) Adaptation à la situation de communication (pondération : 30 % de la note finale) ; 2) Cohérence du texte (pondération : 20 % de la note finale) ; 3) Utilisation d'un vocabulaire approprié (pondération : 5 % de la note finale) ; 4) Construction des phrases et ponctuation appropriées (pondération : 25 % de la note finale) ; 5) Respect des normes relatives à l'orthographe d'usage et à l'orthographe grammaticale (pondération : 20 % de la note finale) (Ministère de l'Éducation du Québec, 2021).

Cette épreuve, il faut le souligner, fait l'objet de critiques régulières. Ainsi, Chartrand (2021) n'hésite pas à la qualifier de passoire ; selon elle, l'épreuve surévaluerait notamment le niveau de maitrise de la langue des élèves. Falardeau (2010), abondant dans le même sens, juge laxistes les normes d'évaluation du ministère de l'Éducation. En dépit de ces critiques, le portrait renvoyé par les résultats à cette épreuve n'est guère reluisant. De 2009 à 2011, 32,7 % des élèves, en moyenne, ont échoué au critère 5, soit celui qui porte sur la capacité à orthographier. De 2012 à 2019, loin de s'être résorbé, le problème s'est aggravé : pendant cette période, ce sont 45,6 % des élèves, en moyenne, qui n'arrivaient plus à atteindre les seuils de réussite ministériels sur le plan de l'orthographe (Dion-Viens, 2022).

Est-ce à dire qu'il faudrait modifier l'épreuve pour redresser la situation ? Armand (2014) souligne en effet que « c'est l'examen qui pilote l'amont, donc c'est l'examen qui sert de levier au changement touchant l'enseignement » (p. 104). Malgré les difficultés évidentes et préoccupantes des élèves sur le plan de l'orthographe, et malgré les critiques récurrentes et partagées à l'égard des normes d'évaluation ministérielles, les changements qu'on envisage d'apporter à l'épreuve ne concernent pas un rehaussement des exigences. Ils concernent une dimension d'un tout autre ordre : les conditions de passation.

## 1.2. La fin d'une rare unanimité autour des conditions de passation ?

Bien que le nombre et la teneur des épreuves d'écriture connaissent de fortes variations d'un État francophone à un autre, jusqu'à tout récemment, une certaine unanimité régnait sur le plan des conditions de passation, à tout le moins, en ce qui concerne la modalité d'écriture. En effet, dans tous les systèmes scolaires francophones dont nous avons traité plus tôt, c'est l'écriture manuscrite qui est évaluée, et l'usage de tout outil numérique, même d'un simple dictionnaire, est interdit.

Or, dans son *Plan d'action numérique*, le ministère de l'Éducation et de l'Enseignement supérieur du Québec (2018) annonçait sa volonté de « mettr[e] en place un environnement numérique pour soutenir l'ensemble des activités liées aux épreuves », qu'il s'agisse de leur élaboration, de leur passation, de leur gestion ou de leur correction (p. 40). Cette mesure n'a rien d'anodin : une fois qu'elle aura été mise en place, ce n'est plus l'écriture manuscrite qui sera évaluée, mais l'écriture numérique. Ce bouleversement des conditions de passation de l'épreuve ministérielle d'écriture implique donc aussi un changement de l'objet de l'évaluation.

Certes, cette mesure est l'aboutissement logique d'orientations qui étaient déjà inscrites dans le *Programme de formation de l'école québécoise* (PFEQ). Dès 2009, on y spécifiait que l'école doit amener les scripteur·rice·s à « utiliser efficacement des outils conventionnels et technologiques afin de répondre à des attentes sociales qui demeurent élevées » (p. 53). À cet égard, le PFEQ prescrit l'enseignement-apprentissage du traitement de texte et des outils numériques, nommément le dictionnaire et le correcteur orthographique, entre autres pour vérifier l'orthographe et le vocabulaire. Cependant, dans un passé récent, la place accordée à l'écriture numérique demeurait minime malgré les prescriptions ministérielles : « seuls 14 % des enseignants disent s'en [de l'ordinateur] servir souvent ou très souvent [...] [et] il est davantage utilisé pour saisir les textes que pour les corriger » (Chartrand et Lord, 2010).

L'utilisation du numérique à des fins d'écriture ne semble donc pas être une pratique d'enseignement dominante, notamment parce que l'évaluation, à la fin de la scolarisation obligatoire, se fait en modalité manuscrite. Quel sens faut-il alors donner à la transformation numérique des épreuves ministérielles ? Se veut-elle un catalyseur de changements, comme le suggère Armand (2014) ? Et si on évalue l'écriture en contexte numérique, de quels outils numériques juge-t-on l'utilisation acceptable ? Le 13 septembre 2021, la ministre de l'Enseignement supérieur, Danielle McCann, a évoqué la possibilité de permettre l'utilisation du logiciel Antidote lors de l'épreuve uniforme de français, une épreuve ministérielle d'écriture survenant à la fin du cégep<fnref n="2" />. Ce logiciel, un outil numérique venant soutenir la révision-correction, aurait notamment pu corriger quasi automatiquement certaines erreurs commises par les étudiant·e·s. Devant le tollé soulevé par cette proposition, la ministre McCann s'est rétractée, moins de 24 heures après avoir lancé sa proposition. Cette valse-hésitation révèle

<footnote n="2">² Cégep est l'acronyme de collège d'enseignement général et professionnel. Les cégeps constituent un ordre d'enseignement à part entière, l'ordre collégial, qui succède immédiatement à l'enseignement secondaire.</footnote>
qu'un enjeu de taille est sous-jacent à l'évaluation, mais aussi à l'apprentissage, de l'écriture en contexte numérique : quels sont les effets de diverses configurations de cette écriture numérique sur la réussite des élèves ?

À la demande du ministère de l'Éducation et de l'Enseignement supérieur (MEESR), nous avons mené une étude portant spécifiquement sur cette question. Quatre objectifs spécifiques ont guidé nos travaux (voir tableau 1). Les parties suivantes de ce texte seront consacrées à en décrire la méthodologie, les résultats ainsi que leur interprétation.

<table><caption>Tableau 1. Objectifs de recherche</caption><thead><tr><td>Objectifs spécifiques (OS)</td><td>Libellés</td></tr></thead><tbody><tr><td>OS 1</td><td>Mesurer les effets d'un outil d'aide à la révision et à la correction sur l'adaptation à la situation d'écriture, sur la cohérence du texte et sur le vocabulaire.</td></tr><tr><td>OS 2</td><td>Mesurer les effets d'un outil d'aide à la révision et à la correction sur le nombre d'erreurs de langue (syntaxe, ponctuation, orthographe lexicale, orthographe grammaticale) relevées dans les textes d'élèves.</td></tr><tr><td>OS 3</td><td>Mesurer les effets d'un outil d'aide à la révision et à la correction sur la durée de passation de l'épreuve.</td></tr><tr><td>OS 4</td><td>Mesurer les effets d'un outil d'aide à la révision et à la correction sur le nombre de mots écrits.</td></tr></tbody></table>

## 2. Méthodologie de la recherche

Afin de répondre à la question générale de recherche et d'atteindre nos objectifs spécifiques, nous avons mené une étude de type quasi expérimental, suivant un plan prétest et posttest (Jhangiani et al., 2019) (voir figure 1). Trois-cent-quatre élèves (n = 304) de la 5e secondaire (≈ 16-17 ans) ont pris part à cette étude. Il s'élève s'provenaient de douze classes, situées dans six écoles différentes, elles-mêmes réparties à travers le territoire québécois, par souci de représentativité de la population scolaire provinciale. Quatre classes se situeraient dans la région de l'Abitibi-Témiscamingue (région éloignée) ; cinq, dans les régions de la Capitale-Nationale et de Chaudière-Appalaches (régions intermédiaires) ; une, dans la région de Lanaudière (banlieue de Montréal) ; et finalement, deux, dans la région de l'Outaouais (région urbaine).

<figure><img src="image_1.png" /><figcaption>Figure 1. Représentation synthétique de la collecte de données</figcaption></figure>

Aux deux temps de mesure, nous avons organisé une simulation de l'épreuve unique de français, 5e secondaire. Pour ce faire, nous avons réutilisé deux tâches d'écriture conçues par le MEESR lors d'années antérieures. La tâche du prétest s'intitulait *Le développement technologique* et portait sur les technologies émergentes ; celle du posttest avait pour titre *Des empreintes ineffacables* et portait sur les problèmes environnementaux.

Lors de chaque simulation, les élèves ont eu à rédiger une lettre ouverte selon les mêmes consignes que lors des périodes d'évaluation ministérielles (voir section 1.1 à ce propos). Les conditions de passation étaient également les mêmes, à une différence près, la modalité d'écriture. Au prétest, toutes les personnes participantes ont réalisé la tâche d'écriture de façon manuscrite ; au posttest, quatre modalités d'écriture différentes ont été mises à l'essai, dans le but de les comparer. Ces modalités, qui ont servi à définir autant de groupes, étaient les suivantes :

A. écriture manuscrite ;
B. écriture avec le traitement de texte (TT), sans outil numérique d'aide à la révision et à la correction<fnref n="3" />;

C. écriture avec le TT ainsi qu'avec des outils numériques d'aide à la révision et à la correction, mais sans formation préalable<fnref n="4" />;

D. écriture avec le TT ainsi qu'avec des outils numériques d'aide à la révision et à la correction, mais avec formation préalable.

Dans chaque classe, les élèves se sont vu assigner aléatoirement une modalité d'écriture. Seuls les individus bénéficiant de mesures d'accommodement du fait d'un trouble d'apprentissage n'ont pas été répartis aléatoirement ; en effet, afin de ne pas les léser, ils ont été placés d'emblée dans le groupe D. La répartition des élèves en vue du posttest était la suivante : 24 % (n = 73) dans le groupe A (prétest : manuscrit ; post-test : manuscrit) ; 23 % (n = 70) dans le groupe B (prétest : manuscrit ; posttest : TT seul) ; 24 % (n = 73) dans le groupe C (prétest : manuscrit ; posttest : TT et outils numériques, sans formation préalable) ; 29 % (n = 88) dans le groupe D (prétest : manuscrit ; posttest : TT et outils numériques, avec formation préalable).

Notons que seul·e·s les participant·e·s du groupe D ont reçu une formation à l'utilisation des outils numériques. Cette formation comprenait quatre brefs modules. Dans le premier, de nature plus technique, le logiciel Antidote était introduit ; dans le deuxième, les élèves voyaient comment tirer parti de certaines fonctions d'Antidote (ex. : filtres *Phrases longues* et *Phrases averbales*) pour réviser la syntaxe ; dans le troisième, certains outils offerts par Antidote pour passer le vocabulaire en revue étaient présentés (ex. : filtres *Répétition* et *Valeur sémantique*) ; finalement, dans le quatrième, des outils d'Antidote facilitant la révision orthographique étaient enseignés. Chaque module comportait une brève capsule vidéo de démonstration ainsi qu'un court exercice<fnref n="5" />.

Les textes produits par les élèves aux deux temps de mesure ont été ensuite évalués par une équipe de dix correcteurs·rice·s du MEESR, selon les protocoles usuels du Ministère. Tous les textes écrits à la main au posttest par les élèves du groupe A ont toutefois fait l'objet d'une retranscription à l'ordinateur afin d'éviter un biais dans la correction. Afin de garantir l'accord interjuge, chaque copie a fait l'objet d'une double évaluation à l'aveugle. Ce processus a permis d'obtenir des données quant à huit variables : adaptation à la situation de communication, cohérence du texte, vocabulaire, syntaxe, ponctuation, orthographe d'usage, orthographe grammaticale, score total. Les données obtenues pour les variables *Adaptation*, *Cohérence*, et *Score total* prenaient la forme d'une note ; en revanche, pour toutes les autres variables, nous avons compilé le nombre d'erreurs identifiées lors de l'évaluation des copies. Nous avons également pris en compte les données relatives à la longueur des textes produits, en nombre de mots, et à la durée de passation en minutes des simulations.

Les données obtenues ont fait l'objet d'analyses statistiques à l'aide du logiciel SPSS (version 20). Une ANOVA à mesures répétées a été menée à titre d'analyse principale. En outre, des ANOVA à un facteur ont aussi été effectuées pour toutes les variables à partir des données du prétest. Lorsqu'une interaction entre le temps et le groupe a été trouvée, une ANOVA à un facteur a été faite à partir des données du posttest, de même qu'un test t à mesures appariées. Le seuil de signification était établi à 0,05 et la correction de Holm-Bonferroni a été appliquée pour pallier la multiplicité des tests.

# 3. Résultats principaux

L'analyse statistique des résultats nous a permis de trouver plusieurs différences significatives entre les modalités d'écriture mises à l'essai, mais seulement en ce qui concerne quatre variables : l'orthographe d'usage, l'orthographe grammaticale, la longueur des textes produits et la durée de passation des simulations de l'épreuve.

## 3.1. Orthographe d'usage

Nous avons identifié une interaction entre le temps et le groupe (F[3,300] = 24,499 ; p = 0,000) sur le plan de l'orthographe d'usage. Nous n'avons pu mettre de différences en évidence à partir des résultats du prétest (F[3,300] = 0,238 ; p = 0,870). En revanche, au posttest, nous avons pu détecter un effet du temps dans les groupes A (manuscrit ; t[72] = -2,480 ; p = 0,015), C (TT et Antidote sans formation ; t[72] = -6,867 ; p = 0,000) et D (TT et Antidote avec formation ; t[87] = -9,157 ; p = 0,000). Ainsi, pour ces trois groupes, le nombre d'erreurs liées à l'orthographe d'usage a décru du prétest au posttest. En revanche, l'ANOVA à un facteur menée à partir des données du posttest révèle qu'à ce moment, les utilisateurs·rice·s d'Antidote ont commis significativement moins d'erreurs que leurs pairs des autres groupes (F[3,300] = 34,980 ; p = 0,000).

<footnote n="3">³ Ces élèves n'avaient accès à aucun outil numérique d'aide à la révision et à la correction. Dans le TT, toutes les fonctionnalités fournissant une rétroaction automatisée avaient été désactivées. En revanche, les élèves pouvaient utiliser les mêmes ouvrages de référence papier que leurs pairs écrivant à la main.</footnote>

<footnote n="4">⁴ Les élèves des groupes C et D avaient accès au logiciel de révision Antidote, mais aussi, à toutes les fonctionnalités du TT fournissant une rétroaction automatisée sur le plan de la langue.</footnote>

<footnote n="5">⁵ On peut accéder gratuitement à ces capsules sur la plateforme Vimeo en suivant ce lien : https://vimeo.com/user49998606.</footnote>
<figure><img src="image_2.png" /><figcaption>Figure 2. Nombre d'erreurs d'orthographe d'usage tous les 100 mots selon le temps de mesure et le groupe</figcaption></figure>

## 3.2. Orthographe grammaticale

L'analyse des données relatives à l'orthographe grammaticale révèle des tendances fortement similaires à celles que nous avons mises en évidente à la section précédente. En effet, nous avons, ici encore, trouvé une interaction entre le temps et le groupe ($F[3,300] = 27,380 ; p = 0,000$). Au premier temps de mesure, nous n'avons pu mettre en évidence des différences significatives entre les groupes ($F[3,300] = 0,094 ; p = 0,963$). En revanche, après que nous avons différencié les modes d'écriture, un effet temps a été trouvé chez les élèves des groupes C (TT et Antidote, sans formation ; $t[72] = -9,924 ; p = 0,000$) et D (TT et Antidote, avec formation ; $t[87] = -7,742 ; p = 0,000$). Cette fois, l'ANOVA à un facteur faite à partir des données du posttest montrait une différence significative entre les utilisateurs d'outils numériques avancés (groupes C et D), d'une part, et les groupes A et B ($F[3,300] = 21,215 ; p = 0,000$), d'autre part. Ainsi, seul les utilisateurs du TT et d'Antidote ont pu réduire significativement le nombre d'erreurs associées à l'orthographe grammaticale au posttest, et ce, de façon notable par rapport à leurs pairs des autres groupes.

<figure><img src="image_3.png" /><figcaption>Figure 3. Nombre d'erreurs d'orthographe grammaticale tous les 100 mots selon le temps de mesure et le groupe</figcaption></figure>

## 3.3. Longueur des textes

Pour rendre compte de la longueur des textes produits, nous avons compté le nombre de mots de chaque lettre ouverte. Au premier temps, nous n'avons pu dégager de différences significatives entre les groupes ($F[3,300] = 0,845 ; p = 0,470$). Toutefois, l'ANOVA réalisée à partir des données du second temps révèle que les élèves ayant écrit à l'ordinateur, quels que soient les outils permis, ont écrit des textes plus longs que leurs pairs ayant écrit à la main ($F[3,300] = 11,808 ; p = 0,000$). Du prétest au posttest, la longueur des textes des utilisateurs des technologies s'est accrue, qu'il s'agisse de ceux des groupes B (TT seul ; $t[69] = 7,190 ; p = 0,000$), C (TT et Antidote, sans formation ; $t[72] = 7,898 ; p = 0,000$) ou D (TT et Antidote, avec formation ; $t[87] = 4,554 ; p = 0,000$).
<figure><img src="image_4.png" /><figcaption>Figure 4. Nombre de mots dans les textes selon le temps de mesure et le groupe</figcaption></figure>

**3.4. Durée de passation des simulations**

Tant au prétest qu'au posttest, nous avons noté le temps qui s'est écoulé entre le début de la simulation et la remise du texte définitif. Ces données, toutefois, n'ont pu être compilées pour tous les temps les élèves, et ce, pour des raisons logistiques.

À partir des données disponibles, nous n'avons pu observer de différences significatives au chapitre de la durée de passation au premier temps (F[3, 208] = 9,950 ; p = 0,000). Au second temps, nous avons constaté une diminution du temps consacré à l'épreuve, et ce, dans tous les groupes : A (manuscrit ; t[42] = -6,392 ; p = 0,000), B (TT seul ; t[50] = -11,597 ; p = 0,000), C (TT et Antidote, sans formation ; t[54] = -13,425 ; p = 0,000) ; D (TT et Antidote, avec formation ; t[62] = -9,321 ; p = 0,000). L'étude des différences entre les groupes au posttest, faite à l'aide d'une ANOVA à un facteur, a permis de démontrer que les élèves ayant rédigé à la main (groupe A) et ceux celles ayant été formé·e·s à l'utilisation d'Antidote (groupe D) ont mis plus de temps que les autres à terminer la tâche (F[3, 270] = 17,168 ; p = 0,000).

<figure><img src="image_5.png" /><figcaption>Figure 5. Durée de passation des simulations, en minute, selon le temps de mesure et le groupe</figcaption></figure>

**3.5. Résultat global**

Finalement, à partir des résultats compilés par l'équipe de correction, nous avons été en mesure de déterminer si chaque élève aurait, dans un contexte d'évaluation réel, réussi l'épreuve ministérielle, ou y aurait échoué. Le tableau 2 présente les taux de réussite et d'échec moyens, selon le groupe et le temps de mesure.
<table><caption>Tableau 2. Taux de réussite et taux d'échec selon le groupe et le temps de mesure</caption><thead><tr><th rowspan="2"></th><th colspan="2">Groupe A<br>Écriture manuscrite</th><th colspan="2">Groupe B<br>TT seul</th><th colspan="2">Groupe C<br>TT et Antidote,<br>sans formation</th><th colspan="2">Groupe D<br>TT et Antidote,<br>avec formation</th></tr><tr><th>Prétest</th><th>Posttest</th><th>Prétest</th><th>Posttest</th><th>Prétest</th><th>Posttest</th><th>Prétest</th><th>Posttest</th></tr></thead><tbody><tr><td>Taux de réussite</td><td>68,5 %</td><td>63,0 %</td><td>67,1 %</td><td>51,4 %</td><td>63,0 %</td><td>82,2 %</td><td>67,0 %</td><td>79,5 %</td></tr><tr><td>Taux d'échec</td><td>31,5 %</td><td>37,0 %</td><td>32,9 %</td><td>48,6 %</td><td>37,0 %</td><td>17,8 %</td><td>33,0 %</td><td>20,5 %</td></tr></tbody></table>

Les taux d'échec, au prétest, sont d'un ordre semblable, s'établissant en moyenne à près de 33,6 %. Au posttest, en revanche, le taux d'échec moyen diminue, atteignant 30,9 %. Toutefois, tous les groupes où les technologies sont utilisées ne sont pas égaux. Alors que le taux d'échec est nettement inférieur à la moyenne chez les élèves des groupes C (TT et Antidote, sans formation) et D (TT et Antidote, avec formation), il grimpe de façon notable chez les élèves du groupe B, qui n'avaient accès qu'au TT et à des ouvrages de référence papier.

# 4. Interprétation des résultats

## 4.1. À l'ère du numérique, quelle compétence scripturale viser au terme de la scolarité obligatoire ?

À la lumière des résultats présentés, un constat s'impose : lors des simulations d'évaluation ministérielle, dès lors que des outils numériques d'aide à la révision et à la correction sont autorisés, on constate une amélioration marquée des résultats des élèves sur le plan de l'orthographe. Cette amélioration semble avoir peu à voir avec la formation à l'utilisation de ces outils, offerte préalablement. En effet, nous avons pu trouver une réduction marquée du nombre d'erreurs d'orthographe tant chez les élèves du groupe C, que nous n'avions pas formé à l'utilisation d'Antidote, que chez ceux celles du groupe D, qui avaient reçu cette formation. Cette amélioration semble donc attribuable à l'outil. Elle est telle qu'elle débouche sur une diminution substantielle du taux d'échec : les élèves ayant accès à Antidote et aux fonctionnalités de correction intégrées au TT échouent à l'examen dans des proportions nettement moindres que leurs pairs qui ne pouvaient les utiliser.

Cette première observation nous mène à poser une question importante : à l'ère du numérique, quelle compétence scripturale les systèmes scolaires, notamment francophones, doivent-ils viser au terme de la scolarité obligatoire ? S'agit-il encore d'évaluer comment la compétence scripturale s'actualise lorsque l'élève n'a accès qu'à très peu de ressources, sinon ses connaissances ? À l'inverse, faudrait-il plutôt évaluer comment elle s'actualise lorsque l'élève peut prendre tous les moyens qu'il elle désire pour produire le meilleur texte possible ? Aux États-Unis, dans le cadre du National Assessment of Education Progress (NAEP), cette question s'est également posée.

> Which delivery mode is appropriate for future NAEP assessments should depend on what we wish to know about student writing proficiency. Do we want to know how well students write on paper, how well they write on computer, or how well they write in the mode of their choice? These questions are not necessarily the same. As students shift their typical mode of writing for school to computer, how well they write on paper becomes less relevant, a fact NAEP may need to address in the design of the next writing assessment. (Horkay et al., 2006, p. 36).

Si les systèmes scolaires francophones en viennent à adopter la position la plus progressiste, et qu'ils permettaient donc l'utilisation d'outils numériques d'aide à la révision et à la correction, la question des normes d'évaluation à adopter se posera inévitablement. Maintenir les normes actuelles, tout en permettant aux élèves de recourir à des outils numériques avancés, mènerait vraisemblablement à un rehaussement des résultats, mais qui serait sans doute imputable aux outils utilisés, essentiellement. Cependant, on pourrait aussi arguer qu'en conférant un tel avantage aux élèves, on est désormais en droit de rehausser les attentes à leur égard.

Une chose apparaît néanmoins certaine : en s'apprêtant à changer la modalité de passation de ses épreuves d'écriture, le ministère de l'Éducation du Québec semble vouloir provoquer des changements à la façon dont l'écriture est enseignée.
## 4.2. Quel développement de la compétence scripturale en contexte informatisé ?

Comment enseigner l'écriture, et spécifiquement l'orthographe, à l'ère du numérique ? Et que faut-il penser des améliorations imputables aux outils, comme celles que nous avons mesurées ? À force de les utiliser, ceux-ci peuvent-ils améliorer, par osmose, la compétence à orthographier ?

Lorsqu'un élève utilise des outils numériques d'aide à la révision et à la correction, il reçoit nécessairement une forme de rétroaction. En effet, ces outils identifient des erreurs potentielles, et souvent, proposent des pistes de correction, voire des explications (figure 2). L'outil vient donc jouer un rôle fondamental dans la révision-correction : pour parler dans des termes similaires à ceux de Flower et al. (1986), il vient détecter des erreurs, puis diagnostiquer des problèmes. Bien sûr, tous les outils numériques de révision-correction ne sont pas égaux : jusqu'à tout récemment, on ne pouvait mettre sur un pied d'égalité le correcteur intégré à Microsoft Word, des correcticiels gratuits comme Cordial ou Bon Patron, puis des logiciels plus avancés comme Antidote.

<figure><img src="image_6.png" /><figcaption>Figure 6. Exemple de rétroaction fournie par Antidote</figcaption></figure>

Nous l'avons vu, l'ajout de ces outils lors d'évaluations ministérielles modifie les résultats des élèves, notamment sur le plan de l'orthographe. Mais si, pendant leur scolarisation, on les expose de façon régulière à la rétroaction donnée par ces applications, qu'en sera-t-il ? Les explications données par ces logiciels, notamment, pourraient-elles constituer autant d'occasions, pour l'élève, de prendre conscience d'erreurs qu'il·elle commet fréquemment, ou encore, de rectifier des raisonnements grammaticaux erronés ? Un tel potentiel n'apparait pas à exclure ; toutefois, le dispositif didactique qui permettrait aux apprenant·e·s d'en bénéficier, lui, nous semble toujours à inventer.

Dans le cadre d'un projet de recherche subventionné par le Fonds de recherche du Québec – Société et culture ainsi que par le ministère de l'Éducation du Québec, nous menons une recherche de développement (2021-2024) à propos de cette question. Dans cette étude, nous tentons de mettre des outils numériques ciblés au service de l'autocorrection d'erreurs fréquentes et clairement définies (ex. : accord du verbe avec le sujet de la phrase). Au terme de ce projet, nous serons à même de mieux jauger de la rentabilité d'une telle approche.

## 4.3. Quelles tâches d'écriture et quels outils pour évaluer l'écriture numérique ?

À travers la francophonie, les genres textuels au cœur des épreuves ministérielles appartiennent à la grande tradition scolaire : au Québec et en Belgique, la lettre ouverte ; en France et en Suisse, la dissertation, entre autres. Ces genres, tous monomodaux, seyaient sans doute à un examen fait à la main, en temps limité. Mais le passage à des épreuves numériques ne devrait-il pas s'assortir d'une réflexion sur les genres textuels qui sont l'objet même de ces épreuves ?

Actuellement, au Québec du moins, rien n'indique qu'un tel changement soit envisagé : on veut modifier le mode d'écriture tout en maintenant les tâches d'écriture utilisées dans les dernières décennies. Si l'on se réfère au modèle de Puentedura (s. d.), on veut donc, de toute évidence, améliorer une pratique traditionnelle, sans la transformer. En effet, changer le papier et le crayon pour le traitement de texte, avec ou sans outils numériques d'aide à la révision et à la correction, nous semble correspondre au stade *Augmentation* du modèle de Puentedura, où la technologie « agit comme substitution directe d'outil, avec amélioration fonctionnelle » (Wart, 2013). Or, en permettant d'utiliser un correcticiel, par exemple, on désire évaluer la compétence scripturale de façon à mieux refléter les pratiques d'écriture actuelles. Ne faudrait-il pas aussi, à ce moment, transformer les tâches d'écriture confiées aux élèves, exigeant d'eux·elles des productions multimodales, par exemple ?

Dans un autre ordre d'idées, le passage au tout numérique, pour toutes les évaluations ministérielles, est-il la voie à suivre ? Bien que nous vivions dans un monde hautement technologique, la capacité à écrire de façon manuscrite n'apparait pas pour autant désuète. Des recherches lui reconnaissent des bienfaits importants,
notamment sur le plan de l'apprentissage de la lecture (Morin et al., 2017). Il n'est sans doute pas impertinent de chercher à évaluer l'écriture numérique, puisqu'en procédant ainsi, on augmente la probabilité d'en faire un objet d'enseignement à part entière (Armand, 2014). Toutefois, abandonner toute évaluation de l'écriture manuscrite pourrait provoquer un bouleversement des pratiques d'enseignement qui n'est sans doute pas souhaitable, particulièrement pour les plus jeunes.

## 5. Conclusion

Nous l'avons vu, la simple introduction d'outils numériques d'aide à la révision et à la correction génère des effets marqués dans les productions des élèves sur le plan de l'orthographe, talon d'Achille de plusieurs jeunes scripteur·rice·s québécois·e·s. Conclure qu'ils améliorent la maitrise de l'orthographe chez les élèves serait, toutefois, pécher par la base : si ces outils améliorent les performances, rien ne permet de croire hors de tout doute qu'ils améliorent la compétence, notamment orthographique, des élèves.

Étant donné les potentialités de ces outils, toutefois, il nous apparaît pressant que les États francophones développent des façons de les mettre au service de l'apprentissage. Supposons par exemple que les capacités de l'intelligence artificielle puissent analyser, au fil de plusieurs tâches d'écriture, les erreurs fréquentes qui se retrouvent dans les textes d'un·e élève. Un tel traitement automatisé des difficultés permettrait de donner une rétroaction précieuse, bien qu'imparfaite, aux enseignant·e·s, aux élèves et à leurs parents. Les technologies servant à la révision et à la correction sauraient alors devenir plus que des outils de remédiation : ils constituerait alors des adjuvants aux enseignant·e·s. Il y a déjà plusieurs années, des applications fournissant une rétroaction aux élèves quant à leurs écrits ont été créées et utilisées dans le monde anglo-saxon (Wilson, 2016). On ne peut uniquement souhaiter que des États de la Francophonie unissent leurs efforts afin d'offrir des opportunités semblables aux enfants et aux adolescent·e·s qui fréquentent leur système scolaire.

## 6. Références bibliographiques

Armand, A. (2014). Programmes, horaires, examens changent-ils la pédagogie? *Administration & Éducation, 143*, 103-105. https://www.cairn.info/revue-administration-et-education-2014-3-page-103.htm

Chartrand, S.-G. (2021, 1er juin). À qui la faute ? *La Presse*. https://www.lapresse.ca/debats/opinions/2021-06-01/qualite-du-francais-des-eleves/a-qui-la-faute.php

Chartrand, S.-G. et Lord, M.-A. (2010). Pratiques déclarées d'enseignement de l'écriture et de la lecture. *Québec français*, 156, 30-31. https://www.erudit.org/fr/revues/qf/2010-n156-qf1502914/61404ac.pdf

Dion-Viens, D. (2022, 15 janvier). Plus de 40 % des élèves échouent en orthographe à la fin du secondaire. *Le Journal de Québec*. https://www.journaldequebec.com/2022/01/15/ameliorer-le-francais-ecrit-a-lecole--plus-de-40--des-eleves-echouent-en-orthographe-a-la-fin-du-secondaire

Falardeau, É. (2010, 7 octobre). De quelle école québécoise parle-t-on ? *La Presse*. https://www.lapresse.ca/debats/vos-reactions/201010/07/01-4330312-rendre-lexamen-de-francais-plus-difficile-vos-commentaires.php

Flower, L., Hayes, J. R., Carey, L., Schriver, K. et Stratman, J. (1986). Detection, Diagnosis, and the Strategies of Revision. *College Composition and Communication*, 37(1), 16-55. https://doi.org/10.2307/357381

Franzke, M. Kintsch, E., Caccamise, D., Johnson, N. et Dooley, S. (2005). Summary Street: Computer Support for Comprehension and Writing. *Journal of Educational Computing Research*, 33(1), 53-80.

Horkay, N., Bennett, R. E., Allen, N., Kaplan, B. et Yan, F. (2006). Does it Matter if I Take My Writing Test on Computer? An Empirical Study of Mode Effects in NAEP. *The Journal of Technology, Learning and Assessment*, 5(2). https://ejournals.bc.edu/index.php/itla/article/view/1641/1488

Jhangiani, J. S., Chiang, I.-C., Cuttler, C. et Leighton, D. C. (2019). Research Methods in Psychology (4th edition). Kwantlen Polytechnic University. https://kpu.pressbooks.pub/psychmethods4e/

Ministère de l'Éducation du Québec. (2021). *Document d'information. Épreuve unique – Français, langue d'enseignement, 5e année du secondaire*. http://www.education.gouv.qc.ca/fileadmin/site_web/documents/dpse/evaluation/DI_FLE_5e_sec_2021-2022.pdf

Morin, M. F., Bara, F. et Alamargot, D. (2017). Apprentissage de la graphomotricité à l'école : quelles acquisitions ? quelles pratiques ? quels outils ? *Scientia Paedagogica Experimentalis*, 54(1-2), 47-84.

Puentedura, R. R. (s. d.). SAMR and TPCK: Intro to Advanced Practice. http://hippasus.com/resources/sweden2010/SAMR_TPCK_IntroToAdvancedPractice.pdf

Wart, S. (2013). Le modèle SAMR : une référence pour l'intégration pédagogique des TIC en classe. *École branchée*. https://ecolebranchee.com/le-modele-samr-une-reference-pour-lintegration-reellement-pedagogique-des-tic-en-classe/
Wilson, J. (2016). Associated effects of automated essay evaluation software on growth in writing quality for students with and without disabilities. *Reading and Writing, 30*, 691-718. DOI.10.1007/s11145-016-9695-z