# Evaluer l'évolution des performances orthographiques d'étudiants en formation professionnelle : méthodes et perspectives

Luca Pallanti¹, Catherine Brissaud¹, Marie-Paule Jacques¹

¹ Univ. Grenoble Alpes, Lidilem, 38000 Grenoble, France

**Résumé.** L'article questionne les modalités d'évaluation des compétences orthographiques. Il se propose d'interroger la pertinence des évaluations orthographiques dites « décontextualisées », à faible cout cognitif, et leur décalage avec des problématiques ayant trait au transfert des compétences orthographiques en production d'écrits à fort cout cognitif. On compare deux façons d'évaluer l'orthographe : un test standardisé et une production de texte. Les résultats montrent une évidente différence entre ces deux modalités de contrôle et soulèvent un questionnement sur ce que représente une évaluation de l'orthographe. De plus, l'étude met en avant un lien entre gestion des informations et performances orthographiques.

**Abstract.** Assessing the evolution of spelling performances of students enrolled in professional university courses : methods and outlook. The article questions how spelling skills are assessed. It proposes to question the relevance of so-called "decontextualized" spelling assessments, with low cognitive cost, and their discrepancy with problems relating to the transfer of spelling skills to the production of writing with high cognitive cost. Two ways of evaluating spelling are compared: a standardized test and text production. The results show a clear difference between these two methods of testing and raise questions about what a spelling assessment means. In addition, the study highlights a link between information management and spelling performance.

## 1 Introduction

Cet article se propose d'aborder un ensemble de questions relatives à l'évaluation de la compétence orthographique et plus particulièrement de son évolution. À travers l'analyse de productions écrites d'étudiants ainsi que de leurs réponses à des tests standardisés visant à évaluer la compétence orthographique, nous essayerons de comprendre dans quelle mesure l'évolution des performances orthographiques, qu'elle soit dans le sens d'un progrès ou d'une dégradation, se laisse apprécier. Nous montrerons en effet, par les résultats contrastés de deux groupes d'étudiants ayant suivi des enseignements distincts, que « la » compétence orthographique n'est pas si évidente à atteindre et surtout que son évaluation, telle que la proposent divers tests standardisés, est souvent incomplète en ce qu'elle ne prend pas en compte les conditions de mise en œuvre « écologique » des choix orthographiques. Nous prenons ici « écologique » comme antonyme d'artificiel ou d'expérimental, pour désigner les situations dans lesquelles les scripteurs doivent spontanément opérer un choix graphique, notamment en situation d'écriture. C'est en effet là que se situent les enjeux.

Lieu d'opposition entre tradition et rénovation, l'orthographe française est un sujet à la fois linguistique, social et politique. Sa maitrise insuffisante, régulièrement constatée et
encore récemment confirmée (Andreu & Steinmetz, 2016), conduit à nombre d'interrogations sur l'efficience de son enseignement, en particulier au primaire et au collège. Les lacunes orthographiques pointées contribuent à une dévalorisation du scripteur et sont déplorées aussi dans les univers professionnels. Les maitres de stages des étudiants d'IUT, qui constituent notre population d'étude, expriment des attentes insatisfaites quant aux compétences rédactionnelles, et plus particulièrement orthographiques, des jeunes qu'ils accueillent pour leur immersion dans le monde professionnel. Les écrits produits sont perçus comme en-deçà de la norme.

Mais comment en produire une évaluation pertinente ? Le niveau de maitrise de l'orthographe française est souvent déterminé par un système d'évaluation que l'on pourrait qualifier de traditionnel. La grande majorité des tests orthographiques utilisés en France a pour but d'attester le nombre de règles orthographiques maitrisées et leur rendement à un moment donné de la scolarité (Brissaud & Lefrançois, 2014). En France, l'utilisation de la dictée semble prédominante. Elle constitue un exercice de transcription de l'oral vers l'écrit, qui place le sujet scripteur dans une position de relative passivité à l'égard de la langue et qui ne permet pas d'identifier l'influence exercée par le processus de composition d'un texte (Kellogg & Raulerson, 2007). De ce fait, la plupart des évaluations utilisées ne donnent qu'une vision parcellaire de la compétence orthographique et empêchent d'analyser correctement les points critiques ayant trait à sa dimension « appliquée », à savoir la capacité à transférer les règles et à respecter les normes en production de texte, au cours de laquelle le sujet scripteur reste libre de ses stratégies orthographiques. Pour désigner cette composante particulière de la compétence orthographique, cruciale pour notre recherche, nous aurons recours à l'expression « orthographe appliquée ».

Un autre enjeu de taille concerne les protocoles méthodologiques utilisés pour non seulement observer la maitrise des règles orthographiques mais aussi en mesurer la progression pendant une période donnée. En effet, la complexité de l'objet d'étude *orthographe* est due aux liens que celui-ci entretient avec les différentes composantes de l'architecture cognitive de tout scripteur. Des études ont montré que le fonctionnement cognitif des scripteurs n'est pas le même selon les situations : copie, dictée ou production de texte (Fayol, 2013). Quelle est donc la place du traitement orthographique en situation de production de texte ? Quelles sont les différences principales avec des activités décontextualisées, comme les QCM, ou celles prévoyant le remplissage de textes à trous ? Ces questions constituent l'arrière-plan sur lequel interroger les relations entre compétence orthographique et passage à l'écrit, qu'il s'agisse de dictées ou de productions de texte.

La question de la gestion des ressources cognitives nous conduit à considérer un autre aspect des liens entre compétence orthographique et compétence rédactionnelle. Les données que nous avons à disposition nous donnent la possibilité d'observer les effets d'un module didactique expérimental à la fois sur les compétences orthographiques et sur les capacités de composition d'un texte. Nous nous proposons d'observer les liens entre performances orthographiques et gestion de la structure informationnelle d'un texte en situation de production ; ils seront illustrés par deux études de cas.

L'étude présente poursuit donc des objectifs à deux niveaux. Le premier concerne l'évolution des performances orthographiques de deux groupes d'étudiants en IUT, l'un ayant suivi un module expérimental pour le travail de l'expression écrite et orale, l'autre ayant bénéficié d'autres enseignements. Le second prend un peu de recul pour interroger les outils mêmes d'évaluation de la compétence orthographique et de son évolution. Nous avons évalué celle-ci à l'aide de deux dispositifs inclus dans un test comportant à la fois des rubriques standardisées et une production de texte, ce qui nous permet de nous pencher sur
leur pertinence et leur complémentarité et, au-delà, sur la question même de l’évaluation. Celle-ci n’est pas nouvelle et continue à constituer une question vive comme on le voit maintenant avec une rapide synthèse théorique.

## 2 Cadrage théorique

En matière d’évaluation de la performance orthographique, deux domaines d’étude nous semblent particulièrement importants : le premier, d’ordre linguistique, concerne les objets orthographiques à évaluer ; le deuxième, didactique et méthodologique, porte sur les modalités d’évaluation.

### 2.1 Les objets de l’évaluation orthographique

Depuis les années 1970, des études ont eu le mérite d’interroger l’orthographe, et d’ébranler le sentiment qu’elle appartenait à l’ordre naturel des choses (Simard, Dufays, Dolz, Garcia-Debanc, 2010). À cet égard, les travaux de Nina Catach ont représenté un véritable tournant dans l’histoire de l’étude de la compétence orthographique, car ils ont autorisé en quelque sorte une hiérarchisation des difficultés liées aux objets orthographiques (Catach, 1978). Ses réflexions ont accompagné les constats progressifs d’une baisse des performances orthographiques des élèves français, baisse dont Chervel fait remonter les débuts aux années 1920 (Chervel, 2008) et qui semble perdurer jusqu’à aujourd’hui, malgré les différentes réformes de l’enseignement de la langue (Brissaud, 2011). Ces résultats ont poussé les institutions et le monde de la recherche à mener des enquêtes d’envergure sur les compétences orthographiques des apprenants, surtout dans le milieu scolaire, mais aussi à l’université et en milieu professionnel.

Les chercheurs se sont notamment demandé quelles sont les catégories grammaticales *habituelles* où se concentrent les erreurs les plus fréquentes. Celles-ci se rencontrent principalement à trois niveaux : la morphologie verbale, la morphologie non-verbale et la logographie. Concernant la morphologie verbale, le participe passé atteint le taux de variation le plus élevé, mais les formes d’homophonie des flexions verbales en /e/ concentrent aussi de nombreux problèmes (Brissaud & Chevrot, 2011). Après la morphologie verbale, viennent les marques de pluriel sur le nom et sur l’adjectif, l’omission du marquage du pluriel de l’adjectif étant récurrente, que ce soit chez les élèves à la fin du primaire (Cogis et Brissaud, 2019), ou chez les lycéens professionnels ou les étudiants (Lucci & Millet, 1994 ; Mout et Brissaud, 2017). La troisième source de variabilité est représentée par les cas d’homophonie, notamment des formes telles que : c’est/ses/ces/cet, ça/sa, la/l’a, qu’en/quand, quel/qu’elle, temps/tant (Lucci & Millet, 1994 : 65).

La Note d’Information 2016-28 (Andreu & Steinmetz, 2016) confirme une baisse des performances orthographiques des élèves en fin d’école primaire en France. Ce constat a été établi à partir des données relatives aux années 1987, 2007 et 2015. Des élèves de CM2 ont été soumis à une dictée portant sur un texte de 83 items (67 mots et 16 signes de ponctuation). Les résultats de l’enquête montrent une baisse évidente en matière d’orthographe grammaticale, notamment pour l’accord entre sujet et verbe, le marquage de l’adjectif et l’accord du participe passé. Ces données confirment les « zones de fragilité » repérées chez les étudiants par Lucci & Millet (1994) et montrent la nécessité de concentrer les efforts d’enseignement, et donc d’évaluation, en direction d’objets orthographiques qui peuvent être définis comme prioritaires.
## 2.2 Les modalités de l'évaluation orthographique

Un deuxième domaine d'étude concerne les modalités d'évaluation de la compétence orthographique. Ce sont les tests standardisés qui constituent aujourd'hui l'outil de référence qui permettrait de vérifier la maitrise et l'application des règles de l'orthographe française. Les tests standardisés coïncident souvent avec des dictées et permettent d'obtenir des données sur la résolution de difficultés orthographiques en temps limité. Il s'agir de vérifier la capacité du scripteur à opérer des choix orthographiques de diverses natures au sein d'une structure syntaxique plus ou moins complexe. Selon une approche théorique largement acceptée, l'orthographe sous dictée mobilise une double trajectoire cognitive : la voie sous-lexicale (ou non lexicale), qui permet de convertir les unités phonologiques en unités graphémiques à travers un processus de segmentation, conversion, assemblage, et la voie lexicale, basée sur la sélection des formes orthographiques les plus récurrentes stockées dans la mémoire à long terme (Rapp, Epstein & Tainturier, 2002). Or, le scripteur sous dictée ne peut pas choisir les mots qui lui sont dictés et se trouve dans l'obligation de sélectionner en peu de temps la forme correcte. Mais que se passe-t-il en situation de production de texte ? Les stratégies de sélection des formes orthographiques mises en place par les scripteurs sont-elles les mêmes ? Il est très probable que non, ne serait-ce que par le fait que le scripteur ne subit pas la même contrainte temporelle.

La dictée est en effet éloignée de la plupart des pratiques écrites de la vie quotidienne ordinaire. Elle se rencontre éventuellement sur de très courts fragments, lorsqu'il s'agit par exemple d'écrire une adresse ou un numéro de téléphone sous dictée, mais guère sur des textes entiers — sauf pratiques professionnelles spécifiques. On peut alors considérer que si d'un côté la dictée permet de vérifier l'acquisition d'une règle particulière, de l'autre elle ne permet pas d'évaluer le degré d'abstraction du scripteur face aux problèmes orthographiques rencontrés en situation de production de texte. En ce sens, elle ne représente pas le meilleur outil pour évaluer la compétence orthographique appliquée, telle que nous l'avons précédemment définie. Pour avoir une vision claire des compétences orthographiques, il faut pouvoir évaluer toutes ces compétences simultanément (Rodi, Geoffre & Epars, 2018). La limite principale des tests standardisés est représentée par l'absence de données sur des productions discursives longues, qui impliquent des fonctionnements cognitifs bien plus élaborés (Chanquoy, Tricot & Sweller, 2007).

Les entretiens métagraphiques représentent un outil performant pour comprendre et évaluer le degré d'abstraction orthographique des scripteurs (Cogis & Ros, 2003). Cependant, leur mise en œuvre en dehors des protocoles de recherche spécifiques est problématique, de par la difficulté intrinsèque relative à la gestion et à l'interprétation des données. Mais comment faudrait-il alors évaluer l'évolution orthographique ? Quels sont les dispositifs les plus rentables qui permettraient de rendre compte au mieux du degré de maitrise des normes orthographiques et de leur application dans des activités impliquant activement le sujet scripteur ?

Boch, Sorba & Bessonneau (2016) proposent un dispositif d'évaluation standardisé qui pourrait répondre à ces interrogations. En effet, leur Certificat en Compétences Rédactionnelles® (CCR®) propose un ensemble de solutions permettant une évaluation de l'évolution des compétences rédactionnelles et orthographiques en situation de production de texte. Il s'agit d'une batterie de tests dont le contenu a été validé à l'aide de tests psychométriques. Sa fiabilité a donc pu être établie. L'utilisation du CCR® au sein d'un protocole méthodologique de pré-tests et de post-tests pourrait donc nous offrir la possibilité d'observer les compétences orthographiques pendant une période donnée et de mesurer les effets des enseignements sur les compétences orthographiques. Le choix
d'insérer une tâche de production écrite longue dans ces tests en fait un atout incontestable, d'autant plus que « la corrélation très faible que les scores obtenus dans ce domaine [de l'orthographe] entretiennent avec les scores obtenus dans les autres rubriques [CCR®] [...] rend la tâche indispensable. » (Boch, Sorba & Bessonneau, 2016 : 140).

Le public auquel nous nous intéressons est formé essentiellement par de jeunes adultes à qui l'on demande une maitrise suffisante de l'orthographe en situation de production d'écrits de type technico-académiques et professionnels (Beaudet & Rey, 2013). Le véritable enjeu consiste donc pour nous à évaluer la maitrise orthographique de la façon la plus complète possible et en particulier en situation de production de texte. Nous avons donc décidé d'utiliser un protocole méthodologique fondé sur une double passation du Certificat en Compétences Rédactionnelles®, décliné en pré-tests et post-tests, ce qui nous permettra de mesurer l'évolution des performances orthographiques.

# 3 Méthodologie

## 3.1 Le public de l'étude

La recherche a impliqué 49 étudiants inscrits à l'Institut Universitaire de Technologie de Grenoble (IUT1), intégrés plus précisément à l'École Nationale de l'Enseignement Professionnel Supérieur (ÉNEPS). L'école est rattachée à l'IUT, composante de l'Université Grenoble Alpes. Elle propose une première année aménagée aux étudiants issus des lycées professionnels pour leur permettre d'accéder dans les meilleures conditions possibles à la deuxième année et obtenir un Diplôme Universitaire de Technologie (DUT).

Le public de l'ÉNEPS est composé de jeunes adultes primo-entrants à l'université. L'âge moyen des 49 étudiants est de 18,36 ans ; le ratio filles/garçons est très déséquilibré : les filles représentent 18,37% des effectifs pris en compte, soit 9 étudiantes sur 49. Du point de vue socioculturel, la plupart des étudiants de l'ÉNEPS sont issus d'un milieu qui peut être défini comme défavorisé (Buty et al., 2018). Ces étudiants sont caractérisés par de faibles compétences orthographiques et un rapport souvent conflictuel avec l'écriture.

## 3.2 Les données

Les données recueillies, dont nous présenterons les résultats plus bas, sont issues du test standardisé CCR®, administré par un pré-test et un post-test à deux groupes distincts, inscrits en 1re année, au cours de deux années universitaires successives. Ces groupes ont, dans le cadre du cours « Expression et communication », reçu des enseignements différents, en particulier en ce qui concerne le travail orthographique et grammatical.

### 3.2.1 Le groupe REF et la grammaire en couleur

Le premier groupe, que nous appellerons « groupe de référence » (REF), comporte 13 étudiants. Il a passé les tests en septembre 2017 puis à la fin du premier semestre, soit en décembre 2017. Pendant le cours « Expression et communication », ce groupe a fait l'objet d'un travail en présentiel sur l'orthographe grammaticale. Sa progression a été conçue en référence aux principes d'apprentissage de la grammaire en couleur (Laurent, 2015) : presque tous les cours prévoient un temps d'entrainement à l'identification des catégories grammaticales et des fonctions dans la phrase, basé sur des activités issues des tableaux de la grammaire en couleurs. Cette méthode, fondée sur l'observation et l'induction, permet une redécouverte des règles orthographiques de base par le biais d'une reconfiguration des catégories grammaticales relatives à la nature des mots : « la grammaire en couleur met en œuvre une démarche totalement inductive, en permettant que les apprenants sollicitent le
chercheur qui est en eux, et prennent ainsi plaisir à apprendre, la stimulation intellectuelle étant réelle et permanente. » (Boch, Buson & Blondel, 2012 :44-45).

### 3.2.2 Le groupe EXP et les plateformes à distance

Le second groupe, que nous appellerons « groupe expérimental » (EXP), comporte 36 étudiants dédoublés en deux sous-groupes. Il a fait l'objet d'un enseignement expérimental et des pré-tests puis post-tests en début et fin du premier semestre de l'année 2018/2019. Le groupe EXP n'a pas suivi de cours en présentiel sur l'orthographe grammaticale. Les enseignements dispensés ont mis en œuvre le module expérimental PADE-PRO (Pallanti, Brissaud & Jacques, 2019) qui a axé le travail en présentiel sur la production systématique d'écrits. Ainsi, ce module a accordé une attention particulière aux activités de sélection des informations, aux mécanismes de cohésion et de cohérence, aux méthodes de révision et de relecture des textes. Nombre d'activités ont entraîné la gestion des expressions coréférentielles et des chaines anaphoriques, à travers des exercices de manipulation et de réécriture. Par exemple, dans une activité de réécriture on a demandé aux étudiants de remplacer dans un texte le référent *voiture électrique* par le référent *véhicules électriques*, ce qui a entraîné une manipulation de la chaine des coréférents et des chaines d'accord. Une autre activité prévoyait la rédaction d'un texte à partir d'un corpus de trois documents. Nous avons aussi réalisé des capsules vidéo où nous avons enregistré des conseils pour la révision des productions écrites ; nous avons demandé ensuite aux étudiants de réécrire les textes à partir des remarques faites dans la vidéo, ce qui nous a aussi permis de mettre en place une évaluation *formative* de l'activité d'écriture (Garcia-Debanc, 1984).

En ce qui concerne l'accompagnement orthographique, PADE-PRO a fait le choix de renvoyer vers un dispositif en distanciel prévoyant l'utilisation de deux plateformes e-learning : la plateforme Orthodidacte pour un sous-groupe et la plateforme Grammortho pour un second sous-groupe (les étudiants ont été répartis de manière équilibrée entre les deux plateformes). Ce choix a permis de dégager du temps pour le travail en présentiel sur la dimension textuelle de la production écrite (Pallanti, Brissaud & Jacques, 2019), dimension qui est apparue prioritaire pour les étudiants et dont on verra les effets dans la section Résultats. Explicitons d'abord les principes des deux plateformes exploitées.

La plateforme Orthodidacte¹ fonde sa progression sur des contenus issus de grands corpus de données et prévoit des méthodes d'apprentissage relativement classiques : les activités proposées sont décontextualisées et portent généralement sur la complétion de phrases courtes à trous ou sur des QCM. Elles ne prévoient pas d'entrainement orthographique en contexte de production longue. Les références et les raisons du choix des catégories grammaticales proposées ainsi que des modalités d'évaluation ne sont pas précisées. Orthodidacte a été conçue pour une autonomie de l'apprentissage, c'est-à-dire qu'elle n'a pas besoin d'une préparation en présentiel pour garantir un apprentissage des normes grammaticales.

La plateforme Grammortho² prévoit des méthodes d'apprentissage très différentes par rapport à Orthodidacte. Les contenus linguistiques ont été développés, entre autres, par des chercheurs du laboratoire Lidilem, et se fondent sur les principes de la grammaire en couleurs. Les activités proposées portent sur des exercices de transformation, de repérage et de placement d'items ; elles se répartissent dans cinq catégories grammaticales (ou modules)³. Dans un souci de précision, il faut ajouter que la plateforme Grammortho a été conçue pour compléter les cours en présentiel sur la grammaire en couleurs ; toutefois, en raison du choix didactique évoqué précédemment, le module PADE-PRO n'a pas prévu de
préparation aux principes et aux méthodes de cette approche, ce qui empêche de mesurer correctement les effets et les résultats de cette plateforme.

Les groupes REF et EXP ont donc suivi des progressions en présentiel globalement différentes, sur le plan des contenus et des principes mêmes de l'apprentissage. Néanmoins, des points communs peuvent être relevés :

- Ils ont fait l'objet de dédoublements en sous-groupes ;

- Les progressions ont tenu compte des instructions du Programme Pédagogique National (PPN GCCD, 2013) ;

- Ils ont réalisé un pré-test et un post-test à un même intervalle temporel, avant puis après les enseignements en présentiel, soit trois mois de cours environ, avec le même nombre de séances en présentiel.

## 3.3 Composition des rubriques retenues dans le CCR®

Le CCR® envisage une évaluation dans cinq domaines de la langue distincts et complémentaires, que le CCR® nomme rubriques. Nous en avons retenu deux : *Orthographe* (abrégé en ORT-DICT) et *Expression écrite* (abrégé en ORT-REDAC).

### 3.3.1 La rubrique Orthographe (ou ORT-DICT)

La rubrique ORT-DICT du CCR® consiste en une dictée de 45 phrases à trous sous forme orale où l'on attend la complétion d'une forme orthographique donnée. Voici deux exemples de phrases :

- La quantité de tâches à réaliser nous **cause** beaucoup de stress.

- Très **étonnés** par les résultats des ventes, de nombreux employés se sentaient mal à l'aise.

Comme ces exemples le montrent⁴, les items à compléter sont des mots caractérisés par des difficultés d'ordre morphosyntaxique. Ainsi, les apprenants, pour valider leur réponse et obtenir un point, sont obligés d'analyser la structure syntaxique de la phrase et conjuguer ou accorder correctement les formes attendues. Dans les exemples, des difficultés parasitent la linéarité syntaxique de la phrase : dans la première phrase, l'accord entre la troisième personne du singulier du verbe *causer* et la tête du syntagme nominal, *La quantité*, est parasité par la présence de deux formes au pluriel, *tâches* dans le syntagme nominal, et *nous* dans le syntagme verbal. Dans le deuxième cas, la phrase comporte un exemple d'apposition, où le groupe nominal *Très étonnés par les résultats des ventes* est placé en tête de phrase. Ceci parasite la linéarité hiérarchique de la phrase et oblige le scripteur à effectuer un raisonnement logico-grammatical à rebours pour résoudre le problème.

Les items orthographiques se laissent regrouper selon diverses catégories que nous appellerons secteurs. Nous avons sélectionné, parmi les 45 phrases, les trois secteurs qui nous intéressent particulièrement, au regard des travaux évoqués précédemment. Nous précisons dans le tableau 1 le nombre d'items pour chacun des secteurs orthographiques pris en compte :

<table><caption>**Tableau 1.** Rubrique ORT-DICT : répartition des items dans les trois secteurs orthographiques</caption><thead><tr><td>Secteurs orthographiques</td><td>Nb. items pré-test</td><td>Nb. items post-test</td></tr></thead><tbody><tr><td>Accord de l'adjectif en genre et en nombre</td><td>4</td><td>5</td></tr><tr><td>Conjugaison (formes verbales simples)</td><td>22</td><td>20</td></tr><tr><td>Accord du participe passé (être et avoir)</td><td>11</td><td>12</td></tr><tr><td>Total</td><td>37</td><td>37</td></tr></tbody></table>
Comme on peut le voir, ces trois secteurs orthographiques incluent la grande majorité des items de la rubrique ORT-DICT: 37 sur 45, soit 82,22% des phrases à trous dictées dans cette rubrique.

### 3.3.2 La rubrique Expression écrite (ou ORT-REDAC)

La présence d'une rubrique entièrement dédiée à la rédaction d'un texte moyen-long (entre 200 et 300 mots) représente le véritable plus du CCR®. En effet, cette rubrique permet d'évaluer la capacité d'un scripteur à rédiger un texte argumentatif en réponse à une consigne précise. L'épreuve consiste à faire une synthèse argumentative d'un document sonore où un locuteur, nommé Alain, exprime son point de vue autour de différentes thématiques. Les contenus des deux fichiers sonores des pré-tests et des post-tests sont différents mais mettent en scène le même locuteur et comportent exactement la même structure, le même nombre d'arguments et la même durée. Une tâche de ce type est caractérisée par un nombre très élevé d'interactions entre les différents volets de la compétence rédactionnelle. En ce sens, il s'agit d'une activité à forte charge cognitive qui permet d'observer le comportement orthographique en situation de rédaction. Ce dispositif nous a ainsi donné l'opportunité d'effectuer à la fois une analyse de la capacité de l'apprenant à restituer le point de vue d'autrui, et une analyse précise des catégories grammaticales utilisées.

Dans le CCR® la gestion de l'orthographe en production de texte est évaluée à partir de 5 critères que nous n'avons pas retenus, car trop éloignés des objectifs de notre étude ; elle représente environ 33% de la note globale. Étant donné que chaque passation de test comporte la production d'un texte moyen-long, nous avons eu à disposition 26 textes pour le groupe REF et 72 textes pour le groupe EXP, soit un total de 98 textes manuscrits.

## 3.4 Annotation orthographique du corpus

Dans une approche issue de la linguistique de corpus, l'ensemble des 98 textes recueillis dans la rubrique a fait l'objet d'une transcription et d'un codage informatiques (Jacques, 2016). Nous avons ensuite annoté systématiquement les objets linguistiques pertinents pour en indiquer la catégorie et les erreurs éventuelles. Le choix des items à annoter a tenu compte des secteurs grammaticaux de la rubrique ORT-DICT, auxquels nous avons ajouté d'autres catégories que nous avons estimées potentiellement révélatrices en raison d'une importante présence d'erreurs. Au total, nous avons annoté 6 catégories orthographiques :

1. l'accord de l'adjectif, abrégé en *accAdj*

2. le marquage du groupe nominal formé par un déterminant et un nom, abrégé en *accGN*

3. la conjugaison des verbes dans leur forme simple, abrégé en *conjVer*

4. les formes verbales où l'on attendait un verbe à l'infinitif, abrégé en *verInf*

5. les principaux cas d'homophonie comportant le phonème /s/, abrégé en *homS* (ex : *se*, *ce*, *c'est*, *ses*, etc.)

6. l'accord du participe passé, abrégé en *participePasse*

L'annotation de chaque catégorie orthographique repose sur des traits qui permettent d'affiner le codage de la nature des erreurs éventuelles (par exemple, les traits genre, nombre et lexique pour l'accord de l'adjectif). La présence d'une erreur est ainsi signalée directement dans les traits disponibles pour chaque catégorie orthographique. Le critère utilisé pour établir l'existence d'une erreur est l'existence d'une différence entre ce qui est produit et la forme orthographique attendue dans un item donné. Par exemple, dans *Le partage serait justifier*, nous avons annoté la forme *justifier* avec l'étiquette *participePasse*, car la forme attendue est bien celle du participe passé *justifié*.
À des fins de comparaison entre les deux rubriques ORT-DICT et ORT-REDAC, nous n'avons retenu qu'une partie de ces 6 catégories, ainsi que nous l'expliquons maintenant.

## 3.5 Les catégories orthographiques retenues

Pour pouvoir observer et comparer les performances orthographiques dans deux situations distinctes d'écriture (dictée et production de texte), nous avions besoin d'un nombre suffisant d'items dans les deux situations. C'est donc la mise en relation de l'annotation des textes de la rubrique ORT-REDAC telle qu'exposée ci-dessus avec la composition des secteurs de la rubrique ORT-DICT qui a présidé au choix des catégories pour l'analyse proprement dite. Nous avons ainsi retenu trois groupements d'items orthographiques : la conjugaison des formes verbales simples, le marquage de l'adjectif et l'accord du participe passé. Ces choix correspondent aux secteurs orthographiques les plus problématiques pour les apprenants français exposés dans la section 2. Malheureusement, nous n'avons pu prendre en compte le marquage au sein du groupe nominal formé par le segment déterminant-nom, car ce secteur n'est pas présent de manière significative dans la rubrique ORT-DICT du CCR®.

Voici le détail des trois secteurs orthographiques retenus et les modalités d'annotation dans la rubrique ORT-REDAC :

- *conjVer* (conjugaison verbale) : il s'agit de verbes conjugués dans leur forme simple. Dans un souci de cohérence, nous avons également annoté les auxiliaires ou les modaux qui permettent la réalisation des formes verbales composées. Par exemple, dans la phrase *Ils ont dû s'arrêter*, nous avons annoté l'auxiliaire *ont* en tant que forme verbale simple. Les traits disponibles pour cette annotation sont *verSim* (pour verbe à la forme simple) et *lexique* (pour des erreurs lexicales).

- *accAdj* (accord de l'adjectif) : ce secteur concerne l'accord de tout type d'adjectif, attribut ou épithète, en genre et en nombre (y compris les formes épicènes). Ainsi, dans l'exemple *Les habitudes alimentaire de ses amis*, nous avons annoté *alimentaire* avec l'étiquette *accAdj* et nous avons marqué une erreur pour le trait nombre.

- *participePasse* (accord du participe passé) : nous avons annoté aussi bien les participes passés avec *avoir* que les participes passés avec *être*, ainsi que toute autre forme de participe à valeur verbale et non adjectivale. Ainsi, dans *Elle a rédigé son discours*, nous avons annoté le mot *rédigé* comme *participePasse*, alors que dans la phrase *Elle a lu un discours rédigé*, le même mot *rédigé* a été annoté *accAdj*.

# 4 Résultats et analyses

## 4.1 Protocole d'analyse des données

L'analyse des données se déroulera en trois phases. Dans un premier temps, nous décrirons la composition des tables des données obtenues après extraction des résultats. Cette phase comporte une description générale des données à disposition, des résultats des tests, des variations entre les rubriques ORT-DICT et ORT-REDAC, et des variations des groupes entre pré-tests et post-tests. Notre objectif est de détecter des tendances générales au niveau des performances orthographiques. Dans un second temps, nous montrerons les résultats des analyses statistiques des textes de la rubrique ORT-REDAC. Le but de cette deuxième phase, centrée sur l'orthographe dans les textes, est de mettre en évidence des tendances au niveau des stratégies orthographiques mises en place par les étudiants en situation de rédaction de texte. Ceci sera analysé dans les trois catégories orthographiques retenues. Enfin, dans une perspective qualitative, nous complèterons l'analyse par deux études de
cas, avec comme objectif de relier les performances orthographiques à la dimension informationnelle des textes.

## 4.2 Description statistique des données

Dans cette première partie analytique, nous allons décrire les données extraites pour exposer ensuite les tendances générales caractérisant les performances orthographiques des apprenants. Les tables des données en question se réfèrent au taux moyen de réussite, exprimé en pourcentage, des groupes EXP et REF dans les secteurs orthographiques *accAdj*, *conjVer* et *participePasse* des rubriques ORT-REDAC et ORT-DICT des CCR®.

Pour calculer les taux moyens de réussite des groupes d'apprenants dans les deux rubriques, nous avons utilisé la même méthode. Pour chaque étudiant, nous avons établi le pourcentage d'items validés sur la totalité des items présents. Ainsi, les taux moyens de réussite de la rubrique ORT-DICT ont été calculés sur une quantité standard d'items qui correspondent aux choix des conceptrices du test. En revanche, les taux moyens de réussite dans la rubrique ORT-REDAC ne sont pas soumis au choix d'items des conceptrices du CCR® mais dépendent des stratégies d'écriture des apprenants mêmes en situation de rédaction.

Étant donné la présence d'effectifs réduits, nous avons appliqué le test de Shapiro-Wilk pour déterminer si les données suivent une loi de distribution dite normale. Les résultats montrent la présence d'écarts importants et de valeurs aberrantes, c'est-à-dire distantes des autres, ce qui confirme le sentiment que nous avions à propos du public de l'ÉNEPS, constitué de groupes d'étudiants aux niveaux de maitrise de langue très hétérogènes. Les résultats du test de Shapiro-Wilk nous ont amenés à choisir des tests dits non-paramétriques pour mesurer les écarts entre les performances des groupes, moins sensibles aux variations extrêmes de données et donc plus à même de produire des résultats fiables.

### 4.2.1 Différences entre les rubriques ORT-DICT et ORT-REDAC

Pour commencer, le tableau 2 ci-dessous, précise les taux moyens de réussite, exprimés en pourcentages, des groupes d'étudiants dans les deux rubriques du CCR®.

<table><caption>**Tableau 2.** Taux moyens de réussite des groupes dans les rubriques ORT-DICT et ORT-REDAC et variation relative entre pré-tests et post-tests</caption><thead><tr><th rowspan="2"></th><th colspan="2">accAdj</th><th colspan="2">conjVer</th><th colspan="2">participePasse</th></tr><tr><th>Pré-test %</th><th>Post-test %</th><th>Pré-test %</th><th>Post-test %</th><th>Pré-test %</th><th>Post-test %</th></tr></thead><tbody><tr><td><strong>EXP</strong><br>ORT-DICT</td><td>41.67</td><td>58.89</td><td>47.35</td><td>50.97</td><td>49.49</td><td>45.37</td></tr><tr><td>Var. relative %</td><td colspan="2">+41,32</td><td colspan="2">+7,65</td><td colspan="2">-8,32</td></tr><tr><td><strong>EXP</strong><br>ORT-REDAC</td><td>71.10</td><td>76.34</td><td>85.25</td><td>88.75</td><td>54.223</td><td>62.95</td></tr><tr><td>Var. relative %</td><td colspan="2">+7,37</td><td colspan="2">+4,11</td><td colspan="2">+16,9</td></tr><tr><td><strong>REF</strong><br>ORT-DICT</td><td>25</td><td>47.69</td><td>46.15</td><td>51.15</td><td>39.86</td><td>46.15</td></tr><tr><td>Var. relative %</td><td colspan="2">+90,76</td><td colspan="2">+10,83</td><td colspan="2">+15,78</td></tr><tr><td><strong>REF</strong><br>ORT-REDAC</td><td>72.35</td><td>54.92</td><td>89.26</td><td>88.26</td><td>55</td><td>63.00</td></tr><tr><td>Var. relative %</td><td colspan="2">-24,09</td><td colspan="2">-1,12</td><td colspan="2">+14,55</td></tr></tbody></table>
**Clef de lecture** : Le groupe EXP affiche un taux moyen de réussite de 41,67% dans le pré-test et de 58,89% dans le post-test de la rubrique ORT-DICT, dans le secteur *accAdj*. La variation relative entre pré-test et post-test correspond à +41,32%.

On observe une différence des performances orthographiques des deux échantillons entre la rubrique ORT-DICT, généralement plutôt basses, et la rubrique ORT-REDAC, bien plus élevées. Par exemple, on peut observer que dans le secteur orthographique *conjVer*, le groupe EXP présente un taux moyen de réussite de 47,35% pour le pré-test et de 50,97% pour le post-test, alors que dans la rubrique ORT-REDAC ce même groupe affiche un taux de 85,25% dans le pré-test et de 88,75% dans le post-test. Comme on peut le voir dans le tableau 2, ces différences concernent tous les secteurs orthographiques pris en compte et représentent certainement un trait saillant de notre analyse. On peut donc se demander si les différences sont statistiquement significatives. Pour ce faire, nous avons appliqué le test statistique non paramétrique de Wilcoxon, et les résultats semblent confirmer, globalement, notre première intuition. En effet, le décalage des taux moyens de réussite entre les rubriques ORT-DICT et ORT-REDAC est statistiquement significatif dans pratiquement tous les secteurs orthographiques à l'exception des pré-tests du groupe EXP dans le secteur *participePassé*, dans les pré et post-tests du groupe REF dans le secteur *participePasse* ainsi que dans les post-tests de ce même groupe dans le secteur *accAdj*.

Les résultats des groupes semblent assez emblématiques, mais il semble important de se demander si à l'échelle des individus, les étudiants qui affichent de bonnes performances dans la rubrique ORT-DICT sont les mêmes que ceux qui réussissent bien également dans la rubrique ORT-REDAC. Pour répondre à cette question, nous avons appliqué le test statistique non paramétrique Tau-b de Kendall. Pour chaque groupe (EXP et REF), nous avons confronté le taux moyen de réussite dans les rubriques ORT-DICT et ORT-REDAC pour les trois secteurs orthographiques retenus. Voici les résultats :

<table><caption>**Tableau 3.** Résultats du test non paramétrique Tau-b de Kendall pour établir la corrélation entre les taux moyens de réussite dans les rubriques ORT-REDAC et ORT-DICT. La corrélation est significative au niveau 0,01, sauf en présence de **, où la corrélation est significative au niveau 0,05</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="2">accAdj</th><th colspan="2">conjVer</th><th colspan="2">participePasse</th></tr><tr><th>Pré-test</th><th>Post-test</th><th>Pré-test</th><th>Post-test</th><th>Pré-test</th><th>Post-test</th></tr></thead><tbody><tr><td rowspan="2">EXP<br>ORT-REDAC/ORT-DICT<br>Tau-b de Kendall</td><td>Coef.</td><td>0,346</td><td>0,275</td><td>0,424</td><td>0,428</td><td>0,111</td><td>0,167</td></tr><tr><td>p-val</td><td><strong>0,008</strong></td><td><strong>0,033</strong><br>**</td><td><strong>0,001</strong></td><td><strong>0,000</strong></td><td>0,451</td><td>0,188</td></tr><tr><td rowspan="2">REF<br>ORT-REDAC/ORT-DICT<br>Tau-b de Kendall</td><td>Coef.</td><td>0,303</td><td>-0,043</td><td>0,324</td><td>0,455</td><td>0,214</td><td>-0,100</td></tr><tr><td>p-val</td><td>0,190</td><td>0,971</td><td>0,136</td><td><strong>0,039</strong><br>**</td><td>0,361</td><td>0,706</td></tr></tbody></table>

**Clef de lecture** : le coefficient de corrélation entre les taux moyens de réussite des pré-tests dans les rubriques ORT-REDAC et ORT-DICT pour le groupe EXP correspond à 0,346. La p-value équivaut à 0,008 et est donc inférieure à 0,05 : la corrélation est donc significative d'un point de vue statistique.

Le tableau met en avant comment les taux moyens de réussite dans les rubriques ORT-REDAC et ORT-DICT des étudiants du groupe EXP sont corrélés pour les catégories *accAdj* et *conjVer*, mais ne le sont pas pour la catégorie *participePasse*, à l'exception des post-tests. Au contraire, pour le groupe REF, les taux moyens de réussite dans les trois secteurs ne sont jamais corrélés. De plus, on remarque que le coefficient de corrélation dans les post-tests dans les secteurs *accAdj* et *participePasse* est négatif. Ces résultats nous permettent d'affirmer que seuls les étudiants du groupe EXP qui réussissent mieux dans les
catégories orthographiques *accAdj* et *conjVer* dans la rubrique ORT-DICT parviennent à avoir de bons scores dans les mêmes secteurs de la rubrique ORT-REDAC, mais il faut aussi signaler que les coefficients de corrélation sont globalement assez faibles. Par conséquent, les résultats dans la catégorie *participePasse* pour le groupe EXP et ceux des trois catégories pour le groupe REF ne semblent pas en phase dans les deux rubriques.

### 4.2.2 Différences entre pré-tests et post-tests

Le tableau 2 mettait aussi en avant des écarts importants entre les pré-tests et les post-tests, notamment pour le groupe EXP qui, nous le rappelons, a suivi le module expérimental PADE-PRO. En effet, le groupe EXP a amélioré son taux moyen de réussite dans les trois secteurs orthographiques observés, qu'il s'agisse de la rubrique ORT-DICT ou ORT-REDAC. Seule exception, les résultats pour le participe passé, qui mettent en avant une petite régression dans les dictées à trous, alors qu'on enregistre des progrès en production d'écrit.

En revanche, le groupe REF ne semble pas suivre la même dynamique. Ce groupe améliore son taux moyen de réussite dans les dictées à trous de la rubrique ORT-DICT dans les trois secteurs observés. Au contraire, l'évolution du taux moyen de réussite est plus nuancée dans la rubrique ORT-REDAC, notamment dans le secteur *accAdj*, où ce groupe REF passe de 72,35% à 54,92%. Le groupe tend à stagner dans le secteur *conjVer* et à s'améliorer dans l'accord du participe passé.

## 4.3 Analyse des résultats de la rubrique ORT-REDAC

Dans cette partie, nous tenterons d'expliquer les importantes différences observées dans le tableau 2 entre les deux modes d'évaluation (une dictée à trous et une production de texte). Pour rappel, notre propos est de réaliser une analyse des trois secteurs orthographiques centrée sur les productions écrites dans la rubrique ORT-REDAC. Il s'agit également d'identifier des comportements récurrents qui pourraient fournir des indications sur les critères d'évaluation de l'évolution des performances orthographiques des apprenants. A cette échelle, le nombre réduit de données nous empêche de relever les taux moyens de réussite et nous oblige à réaliser des statistiques sur les occurrences prises de manière globale. Dans l'ordre, nous confronterons les variations les plus significatives relatives au nombre d'occurrences des trois secteurs orthographiques pour les groupes EXP et REF dans les pré-tests et dans les post-tests. Dans un premier temps, nous analyserons les principales occurrences du secteur orthographique *accAdj* pour passer ensuite à l'analyse des secteurs *conjVer* et *participePasse*.

### 4.3.1 Analyse du secteur *accAdj*

Le tableau 2 montre une évolution très importante du taux de réussite des groupes EXP (+41,32%) et REF (+90,76%) dans la rubrique ORT-DICT. Or, lors du passage à l'écrit dans la rubrique ORT-REDAC, cette évolution ne se confirme que pour le groupe EXP, mais de manière beaucoup moins importante (+7,37%). En revanche, pour le groupe REF, la valeur ne correspond pas, car les étudiants affichent une importante diminution du taux de réussite (-24,09). Les deux tableaux ci-dessous nous aident à comprendre le détail de ces variations. Y sont détaillés les taux de variation de réussite pour les adjectifs comportant des morphogrammes grammaticaux muets distinctifs du genre (ex. *animal/animal-e*), du nombre (ex. *alternatif-s/alternatif-s*) et du genre et du nombre en même temps (ex. *meilleur-e-s*).

<caption>**Tableau 4.** Résultats du groupe EXP pour le secteur *accAdj* dans la rubrique ORT-REDAC.</caption>
<table><thead><tr><th colspan="8">EXP - Secteur accAdj</th></tr><tr><th>Morphogrammes muets distinctifs</th><th>nb pré</th><th>nb err pré</th><th>% réussite</th><th>nb post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>genre</td><td>42</td><td>13</td><td>69,05</td><td>7</td><td>1</td><td>85,71</td><td>24,14</td></tr><tr><td>nombre</td><td>91</td><td>15</td><td>83,52</td><td>143</td><td>11</td><td>92,31</td><td>10,53</td></tr><tr><td>genre et nombre</td><td>128</td><td>46</td><td>64,06</td><td>176</td><td>63</td><td>64,20</td><td>0,22</td></tr></tbody></table>

**Clef de lecture** : Pour les morphogrammes muets distinctifs du genre dans les pré-tests, il y a au total 42 occurrences et 13 erreurs, ce qui donne un taux de réussite de 69,05%, alors que le taux de réussite dans les post-tests est de 85,71%. La variation relative entre ces deux taux correspond à 24,14%. Les tableaux 4, 5, 6, 7, 8 et 9 se lisent de la même manière.

<table><caption>**Tableau 5.** Résultats du groupe REF pour le secteur *accAdj* dans la rubrique ORT-REDAC.</caption><thead><tr><th colspan="8">REF - Secteur accAdj</th></tr><tr><th>Morphogrammes muets distinctifs</th><th>nb pré</th><th>nb err pré</th><th>% réussite</th><th>nb post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>genre</td><td>11</td><td>5</td><td>54,55</td><td>14</td><td>7</td><td>50,00</td><td>-8,33</td></tr><tr><td>nombre</td><td>37</td><td>9</td><td>75,68</td><td>39</td><td>16</td><td>58,97</td><td>-22,07</td></tr><tr><td>genre et nombre</td><td>47</td><td>13</td><td>72,34</td><td>54</td><td>28</td><td>48,15</td><td>-33,44</td></tr></tbody></table>

Les tableaux 4 et 5 montrent que les morphogrammes grammaticaux muets distinctifs du genre se révèlent une importante source d'erreurs et le taux d'erreurs semble être directement proportionnel à leur utilisation dans un texte. Le cas du groupe EXP est très emblématique : l'utilisation de ces formes adjectivales passe de 42 occurrences dans les pré-tests à 7 dans les post-tests, soit -83,33%, avec une augmentation du taux de réussite de +27,27%. Sans grande surprise, la gestion des morphogrammes grammaticaux muets relatifs au marquage du nombre semble poser problème pour le groupe REF, qui affiche un taux de variation négatif de 22,07 %, alors que leur utilisation ne varie pas de manière significative. En revanche, le groupe EXP, malgré une augmentation de l'utilisation de ces adjectifs, affiche un taux de variation positif de 10,53% et parvient à gérer mieux cette sous-catégorie grammaticale. De même, les adjectifs comportant des morphogrammes grammaticaux muets distinctifs du genre et du nombre présentent des problèmes, notamment pour le groupe REF, qui affiche une variation négative de 33,44% dans les post-tests, alors que le groupe EXP parvient à traiter plus efficacement les items de cette catégorie.

Ce que l'on peut retenir de cette analyse est l'importante différence en termes d'évaluation du taux de variation de réussite de l'orthographe grammaticale de l'adjectif entre dictées et passage à la rédaction. Le cas du groupe REF est étonnant car le taux d'évolution positif du pourcentage de réussite entre pré et post-tests affiché dans la rubrique ORT-DICT s'inverse de manière très importante lors du passage à l'écrit dans la rubrique ORT-REDAC.

### 4.3.2 Analyse du secteur conjVer

Le tableau 3 montrait que le décalage du taux de réussite des deux groupes dans le secteur *conjVer* entre les rubriques ORT-DICT et ORT-REDAC est statistiquement significatif. Cependant, l'évaluation du taux de variation dans cette catégorie entre pré-tests et post-tests dans les dictées à trous est en phase avec celui observé au moment du passage à l'écrit, sauf pour le groupe REF, qui tend à stagner dans le post-test (cf. tableau 2). Les tableaux 6 et 7 indiquent les taux de variation relative de réussite pour les auxiliaires *être* et *avoir*, du verbe *falloir*, des verbes avec infinitif en *-er*, qui présentent des difficultés relatives à la gestion
des morphogrammes grammaticaux muets distinctifs, ainsi que des autres verbes, y compris ceux caractérisés par des morphogrammes grammaticaux irréguliers.

<table><caption>**Tableau 6.** Résultats du groupe EXP dans le secteur *conjVer* dans la rubrique ORT-REDAC.</caption><thead><tr><th colspan="7">EXP - Secteur conjVer</th></tr><tr><th>lemme</th><th>nb Pré</th><th>nb err pré</th><th>% réussite</th><th>nb post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>être</td><td>152</td><td>14</td><td>90,79</td><td>258</td><td>13</td><td>94,96</td><td>4,59</td></tr><tr><td>avoir</td><td>51</td><td>19</td><td>62,75</td><td>101</td><td>21</td><td>79,21</td><td>26,24</td></tr><tr><td>falloir</td><td>28</td><td>2</td><td>92,86</td><td>103</td><td>1</td><td>99,03</td><td>6,65</td></tr><tr><td>-er (sauf aller)</td><td>222</td><td>43</td><td>80,63</td><td>301</td><td>47</td><td>84,39</td><td>4,66</td></tr><tr><td>autres</td><td>231</td><td>23</td><td>90,04</td><td>175</td><td>27</td><td>84,57</td><td>-6,08</td></tr></tbody></table>

<table><caption>**Tableau 7.** Résultats du groupe REF dans le secteur *conjVer* dans la rubrique ORT-REDAC.</caption><thead><tr><th colspan="7">REF - Secteur conjVer</th></tr><tr><th>lemme</th><th>nb pré</th><th>nb err pré</th><th>% réussite</th><th>nb post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>être</td><td>70</td><td>5</td><td>92,86</td><td>64</td><td>2</td><td>96,88</td><td>4,33</td></tr><tr><td>avoir</td><td>16</td><td>3</td><td>81,25</td><td>31</td><td>4</td><td>87,10</td><td>7,20</td></tr><tr><td>falloir</td><td>30</td><td>0</td><td>100,00</td><td>8</td><td>1</td><td>87,50</td><td>-12,50</td></tr><tr><td>er (sauf aller)</td><td>86</td><td>15</td><td>82,56</td><td>96</td><td>21</td><td>78,13</td><td>-5,37</td></tr><tr><td>autres</td><td>81</td><td>10</td><td>87,65</td><td>95</td><td>6</td><td>93,68</td><td>6,88</td></tr></tbody></table>

On constate que la conjugaison des auxiliaires *être* et *avoir* dans leur forme simple ne pose pas de problèmes particuliers. De même, la variation d'utilisation du verbe *falloir* est probablement due aux contenus mêmes des synthèses à produire dans la rubrique ORT-REDAC, et ne semble pas révéler des difficultés orthographiques particulières. Au contraire, bien que les variations du taux de réussite ne soient pas significatives du point de vue statistique, on peut remarquer des difficultés dans la gestion de certaines catégories verbales. C'est bien le cas du groupe REF concernant la gestion des morphogrammes grammaticaux muets distinctifs de la catégorie des verbes avec infinitif en *-er* (sauf *aller*). Même si ces verbes sont caractérisés par des terminaisons régulières, la forte présence de formes hétérographes du phonème /e/ pose de nombreux problèmes. Ainsi, le groupe REF semble avoir plus de difficultés à l'égard de ces formes lors du passage à l'écrit, bien que la proportion de verbes en *-er*, des auxiliaires, et des autres verbes aux terminaisons plus irrégulières soit globalement la même que dans la rubrique ORT-DICT, où ces difficultés ne se manifestent pas. Le tableau 6 laisse apercevoir une différence au niveau des stratégies rédactionnelles du groupe EXP, qui tend à gérer plus efficacement les verbes avec infinitif en *-er* (sauf *aller*) et à réduire l'utilisation des autres verbes. Cependant, il convient de le rappeler, les effectifs réduits de ce groupe relativisent la portée de ces considérations.

L'analyse du secteur *conjVer* est intéressante surtout dans la mesure où elle semble liée à la gestion des contenus textuels à produire. L'évaluation des variations de l'orthographe verbale devrait tenir compte du contexte de production de l'écrit, étant donné l'énorme différence en termes de taux moyen de réussite entre dictées et productions de texte.

### 4.3.3 Analyse du secteur *participePasse*

Les taux de variation pour le secteur *participePasse* (cf. tableaux 2 et 3) ne montraient pas des différences significatives d'un point de vue statistique entre l'évaluation dans les rubriques ORT-DICT et ORT-REDAC. Néanmoins, la gestion du participe passé dans des écrits longs n'est pas du tout équilibrée et semble s'articuler à la gestion globale des textes.
Les tableaux 8 et 9 ci-dessous exposent les statistiques relatives aux taux de variation de réussite des verbes avec infinitif en -er (sauf *aller*) et des autres verbes (sauf auxiliaires), qui présentent souvent des difficultés au niveau des morphogrammes grammaticaux muets distinctifs.

<table><caption>**Tableau 8.** Résultats du groupe EXP dans le secteur *participePasse* dans la rubrique ORT-REDAC</caption><thead><tr><th colspan="8">EXP - Secteur <i>participePasse</i></th></tr><tr><th>lemme</th><th>pré</th><th>nb err pré</th><th>% réussite</th><th>post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>-er</td><td>66</td><td>32</td><td>51,52</td><td>126</td><td>58</td><td>53,97</td><td>4,76</td></tr><tr><td>autres</td><td>19</td><td>8</td><td>57,89</td><td>47</td><td>18</td><td>61,70</td><td>6,58</td></tr></tbody></table>

<table><caption>**Tableau 9.** Résultats du groupe REF dans le secteur *participePasse* dans la rubrique ORT-REDAC</caption><thead><tr><th colspan="8">REF - Secteur <i>participePasse</i></th></tr><tr><th>lemme</th><th>pré</th><th>nb err pré</th><th>% réussite</th><th>post</th><th>nb err post</th><th>% réussite</th><th>variation réussite</th></tr></thead><tbody><tr><td>-er</td><td>35</td><td>17</td><td>51,43</td><td>11</td><td>6</td><td>45,45</td><td>-11,62</td></tr><tr><td>autres</td><td>9</td><td>7</td><td>22,22</td><td>13</td><td>8</td><td>38,46</td><td>73,08</td></tr></tbody></table>

La difficulté dans la gestion des morphogrammes grammaticaux muets distinctifs des verbes avec infinitif -er semble se confirmer pour les deux groupes. Cependant, comme pour le secteur *conjVer*, le groupe EXP parvient à s'améliorer sensiblement dans la gestion les participes passés des verbes avec infinitif en -er.

L'analyse des performances orthographiques dans le secteur *accAdj* confirme les résultats du secteur *conjVer*, mais le décalage avec l'évaluation des progrès du taux de réussite entre dictées et rédactions est moindre par rapport aux deux autres secteurs.

## 4.4 Analyse des productions écrites

Dans la dernière phase de l'analyse, nous souhaitons mettre en relation les résultats de l'analyse de la dimension textuelle avec les performances des étudiants lors du passage à l'écrit. Nous explorons l'hypothèse d'une articulation entre l'évolution des performances orthographiques et l'évolution des performances relatives à la gestion textuelle de l'écrit. Dans cette partie, nous décrirons d'abord les résultats de nos deux cohortes dans les synthèses argumentatives ; ensuite, nous analyserons les textes produits par deux étudiants.

### 4.4.1 Résultats des synthèses argumentatives

Dans l'économie générale du CCR®, l'évaluation de la rubrique *Expression écrite* se fait sur 45 points et prend en compte la dimension textuelle et argumentative, en plus de la dimension orthographique. Dans le tableau ci-dessous, il est possible d'observer la moyenne des points obtenus par les étudiants des deux cohortes dans les pré-tests et dans les post-tests, ainsi que le taux moyen de variation relative.

<table><caption>**Tableau 10.** Résultats des groupes EXP et REF pour la synthèse argumentative du CCR®</caption><thead><tr><th colspan="4">Note globale de la rubrique <i>Expression écrite</i></th></tr><tr><th>groupe</th><th>pré /45</th><th>post /45</th><th>% variation relative</th></tr></thead><tbody><tr><td>EXP</td><td>18,97</td><td>26,75</td><td><strong>41,00</strong></td></tr><tr><td>REF</td><td>19,83</td><td>17,67</td><td><strong>-10,92</strong></td></tr></tbody></table>

**Clef de lecture** : le groupe EXP a obtenu un score de 18,97 points en moyenne sur 45 points dans les pré-tests et de 26,75 dans les post-tests. La variation relative entre ces deux moyennes est de 41%
Le tableau 10 met en évidence une importante variation du taux moyen de réussite entre pré-tests et post-tests pour le groupe EXP, qui parvient à augmenter de 41% son score global au niveau de l'expression écrite. Au contraire, la cohorte REF affiche une variation négative de 10,92%. Il est alors intéressant de confronter ces résultats avec les performances orthographiques des étudiants.

<figure><img src="image_1.png" /><figcaption>**Fig. 1.** Comparaison données groupe EXP</figcaption></figure>

<figure><img src="image_2.png" /><figcaption>**Fig. 2.** Comparaison données groupe REF</figcaption></figure>

**Clef de lecture** : la ligne tout en bas représente l'évolution des scores globaux (points) entre pré et post-tests. Les trois autres lignes représentent les taux de réussite respectifs dans les secteurs *participePasse*, *accAdj* et *conjVer* (ORT-REDAC)

Les figures 1 et 2 permettent de visualiser l'évolution comparable des performances orthographiques dans les secteurs *accAdj* et *conjVer* et les performances dans la synthèse argumentative (ligne noire, la plus basse). À ce stade, il n'est pas possible d'établir une corrélation entre ces variables, mais il n'en reste pas moins que l'orientation générale des données nous pousse à relier orthographe appliquée et capacité de gestion des textes.

## 4.4.2 Deux études de cas de l'évolution en production d'écrit

Les études de cas que nous allons présenter concernent un apprenant du groupe EXP, l'étudiant EXP11, et un apprenant du groupe REF, l'étudiant REF5. Nous avons sélectionné ces étudiants en fonction du pourcentage de réussite dans le secteur *conjVer* dans les pré-tests (entre 65% et 67%) car cette catégorie orthographique semble être davantage reliée aux contenus et à la structure informative des textes.

Dans le pré-test de l'étudiant EXP11, qui affiche un taux de réussite de 66,67% dans le secteur *conjVer* dans la rubrique ORT-REDAC et de 50% dans la rubrique ORT-DICT, il y a une forte présence de groupes nominaux au pluriel et de verbes performatifs⁵ (16 verbes sur 18), dont 7 verbes issus du groupe en -er. C'est dans ce groupe de verbes que l'apprenant commet le plus grand nombre d'erreurs, soit 3 erreurs sur les morphogrammes grammaticaux muets de la troisième personne du pluriel (lemmes *payer* et *louer*). Le texte comporte 178 mots au total et n'est pas structuré en paragraphes, les phrases sont très souvent assertives et les signes de ponctuation sont plutôt rares (14 au total). Dans l'exemple « Il défend les entreprises car les entreprises paie des charges [...] », d'un côté, l'étudiant n'a pas interprété correctement les informations données, de l'autre, l'erreur se situe dans la tournure verbale de la phrases où le verbe *paie*, en plus d'être mal conjugué, ne restitue pas correctement l'argument d'Alain. En général, EXP11 structure sa synthèse par couches consécutives, dans une sorte d'énumération assertive qui porte sur les agissements supposés des personnages périphériques du fichier sonore, en mentionnant rapidement le personnage central, nommé Alain, au début et à la fin de l'écrit. L'auxiliaire
être est utilisé seulement à deux reprises et il n'y a que trois adjectifs, dont un, chère, qui est mal accordé. La planification et la structure globales du texte sont défaillantes.

Au contraire, dans le post-test on se rend compte rapidement que le personnage central, Alain, est présent de manière très équilibrée du début à la fin de l'extrait. L'apprenant utilise au total 28 verbes ; il y a 9 verbes performatifs et 19 verbes constatifs, dont 10 sont représentés par le lemme être. On peut compter 8 verbes du groupe -er et l'étudiant commet une seule erreur (abord à la place de aborde) ; tous les verbes en -er sont utilisés à la troisième personne du singulier. Nous pouvons remarquer aussi la présence de 10 adjectifs au total ainsi que l'absence de formes présentant des difficultés particulières (par exemple, on constate une faible présence d'adjectifs dont les terminaisons sont caractérisées par des morphogrammes distinctifs homophones, comme cher ou meilleur). Sur le fond, l'étudiant rend compte de manière progressive du point de vue d'Alain sur la question posée : dans l'exemple « il pense qu'il vaut mieux manger moin[s] de viande mais de la bonne viande », EXP11 saisit avec précision le sens du fichier sonore. Malgré la présence de difficultés d'ordre syntaxique et de quelques phrases assertives qui semblent persister, l'écrit est plus long et on peut compter maintenant 261 mots et 21 signes de ponctuation ; on y trouve aussi une planification en 3 paragraphes, où l'étudiant parvient à saisir et à structurer les informations prioritaires. Le texte est également caractérisé par un discours de type descriptif où l'on reporte davantage les qualités des arguments exprimés par Alain. Les progrès sur le plan de l'exposition argumentative sont évidents.

Le cas de l'étudiant REF5 est un peu différent. Dans le pré-test il présente un taux moyen de réussite dans le secteur *conjVer* comparable à EXP11 dans la rubrique ORT-REDAC, soit 65,38%, mais seulement 27,27% dans la rubrique ORT-DICT. Il y a au total 25 verbes, dont 14 verbes performatifs et 5 formes issues du verbe *être*. Au total, nous avons relevé 6 erreurs, dont 5 concernent les terminaisons des verbes en -er (lemmes arrêter, augmenter, etc.) et une à la troisième personne du lemme *devoir*. Dans l'exemple « [...] si la consommation de viande s'arrêté, le bétail augmenterai [...] », on voit bien les difficultés de l'apprenant pour traiter les flexions verbales comportant le phonème /e/, erreurs qui se concentrent dans une phrase où REF5 a également du mal à restituer correctement le point de vue d'Alain, en fournissant des informations erronées. De plus, on ne compte que 2 adjectifs au total, sans erreurs, ce qui révèle une absence assez évidente de discours de type descriptif, comme dans le pré-test de EXP11. Le texte comporte 225 mots et 14 signes de ponctuation ; une division en 4 paragraphes est présente et les parties initiale et centrale de l'écrit sont assez bien structurées. Cependant, vers la fin de la synthèse, REF5 semble oublier l'existence d'Alain : la conclusion se révèle ainsi un peu confuse et ne parvient pas à répondre à la problématique. La phrase conclusive « [...] et il ne faut pou[s]ser à la surconsommation, mais se limité » illustre bien cette dynamique, où les informations données sont caractérisées par un flou référentiel.

Dans le post-test de REF5, on peut compter 25 verbes annotés, dont 8 formes du verbe être, et 14 verbes performatifs, tout comme dans les pré-tests. En revanche, le texte comporte 10 adjectifs et l'apprenant a souvent recours à des formes présentant des criticités au niveau des morphogrammes grammaticaux muets distinctifs (lemmes *financier*, *cher*). On y trouve 5 erreurs qui concernent toutes le marquage du pluriel, ce qui détermine une variation de la réussite dans cette catégorie très négative. Par ailleurs, on constate la présence de seulement 3 paragraphes et on compte 11 signes de ponctuation pour un total de 253 mots. Comme pour le pré-test, dans l'exemple : « Beaucoup de gens sont du même avis que Alain et trouve les modes fonctionnement des site[s] comme Airbnb et Blablacar sont excellent[s] au point de vue économie de partage [...] », l'apprenant attribue de
manière arbitraire à Alain et au sujet périphérique gens des pensées qui ne correspondent pas à la réalité des informations présentes dans le fichier sonore. Par conséquent, même si la première partie du texte est rédigée avec lucidité et les arguments mis en avant par Alain sont exprimés avec clarté, l'apprenant s'égare vers la fin de la rédaction. La tentation du jugement personnel n'est plus latente et prend le pas sur les opinions d'Alain : « [...] mais les Taxis uber qui ne paie pas de taxe rien, sont mal vue même comparer a des travailleurs au "black" ». La qualité argumentative est défaillante et les lacunes du pré-test sont toujours bien présentes : les informations et les arguments sélectionnés ne sont pas convaincants.

Les deux études de cas montrent deux dynamiques opposées : celle de l'apprenant EXP11, qui en améliorant la gestion textuelle de son écrit réduit en même temps le nombre d'erreurs, et celle de l'étudiant REF5, dont les compétences orthographiques et textuelles tendent à stagner lors des post-tests. Ces résultats semblent confirmer l'existence d'un lien entre la capacité à restituer correctement le sens et la structure de l'argumentation d'une tierce personne et celle que nous avons définie comme l'orthographe appliquée, en contexte de production de texte, qui ne paraît donc pas indépendante de la structure informationnelle d'un écrit.

# 5 Discussion

Les résultats des analyses nous donnent la possibilité de vérifier certaines de nos hypothèses de recherche et de fournir des indications sur l'utilisation de tests standardisés pour évaluer l'évolution de la compétence orthographique. De plus, certains résultats nous poussent à formuler des hypothèses sur le lien entre performance orthographique et gestion informationnelle des textes.

## 5.1 Décalage entre maitrise des règles et capacité de transfert

Les données analysées montrent un décalage important entre l'évaluation du degré de conformité aux normes orthographiques (rubrique ORT-DICT, où les scores des étudiants sont plutôt bas), et l'évaluation de la maitrise orthographique en situation de production de texte (rubrique ORT-REDAC, où les apprenants ont généralement des scores plus élevés, cf. tableau 2). À partir de ce constat, il est possible d'affirmer que les tests standardisés qui ne prévoient pas d'activités de rédaction ne sont pas en mesure de donner des indications fiables sur l'orthographe appliquée, c'est-à-dire la compétence orthographique en situation de rédaction de texte. S'il est vrai que dans certains cas les apprenants semblent connaitre les normes orthographiques, concernant par exemple l'accord de l'adjectif, en revanche, dans nombre d'exemples, ils ne sont pas en mesure d'appliquer ces mêmes normes en contexte de production de texte. Mais la chose la plus intéressante a trait aux stratégies rédactionnelles des apprenants à faible niveau orthographique qui, en situation de rédaction, semblent miser sur leurs acquis pour réduire les risques de commettre des erreurs.

### 5.1.1 Une évaluation partielle de la compétence orthographique

En termes d'évaluation, les limites mises en avant pour la rubrique ORT-DICT peuvent être élargies à la plupart des tests diagnostiques standardisés qui se basent sur des activités hors contexte, comme les dictées à trous, les QCM, les activités de repérage/pointage d'erreurs. Ces instruments diagnostiques et certificatifs sont souvent utilisés par des plateformes e-learning qui assurent certifier le niveau orthographique des utilisateurs. C'est bien le cas de la plateforme Orthodidacte, mais aussi de Projet Voltaire et de la Certification Voltaire, dont « l'épreuve dure 3 heures. Elle commence par une petite dictée de 2 lignes sans aucune difficulté, suivie d'un QCM (questionnaire à choix multiple) de 195 phrases. » (cf. Certificat Voltaire⁶). Ces plateformes se fondent sur l'exigence d'une automatisation des
corrections des tests et ne semblent donc pas en mesure d'évaluer la capacité de transfert des compétences orthographiques des apprenants et, par conséquent, l'évolution de la compétence orthographique appliquée. Ces considérations ont comme conséquence une remise en cause d'une bonne partie des dispositifs d'évaluation de la progression des compétences orthographiques, car incapables d'évaluer la capacité de transfert des règles orthographiques lors du passage à l'écrit.

## 5.1.2 Des outils performants à disposition des enseignants et des formateurs

Un outil d'évaluation intéressant est représenté par le test standardisé développé dans le cadre du projet « Élaboration de tests de positionnement en français écrit », financé par l'Université Ouverte des Humanités (OUH) et porté par l'Université Paris-Nanterre⁷. Ce test de positionnement libre et gratuit permet d'obtenir des indications non seulement sur le degré de conformité aux normes orthographiques, mais également sur des compétences relatives à la dimension textuelle de l'écriture, ce qui nous paraît un avantage non négligeable. En termes de certification, comme nous l'avons vu, un test standardisé comme le Certificat en Compétences Rédactionnelles® (CCR®), développé au sein du laboratoire Lidilem, peut représenter une solution intéressante grâce à la présence de l'exercice de rédaction dans la rubrique *Expression écrite* (ORT-REDAC). Certes, une correction automatique ne paraît pas envisageable à ce stade, mais le système pré-test/post-test garantit une vision assez claire et précise du degré d'évolution en matière de conformité aux normes orthographiques (rubrique ORT-DICT) et de transfert des acquis orthographiques en situation de production écrite (rubrique ORT-REDAC).

## 5.2 Gestion des contenus informationnels et performances orthographiques

Les résultats des analyses statistiques des secteurs orthographiques *accAdj*, *conjVer* et *participePasse* semblent renforcer la tendance observée lors de la comparaison entre pré-tests et post-tests. En effet, la dynamique générale des groupes d'apprenants vérifie notre hypothèse selon laquelle il y aurait une évolution de la compétence orthographique appliquée pour la cohorte EXP. Comme suggéré par les deux études de cas, cette évolution pourrait être reliée, en partie, à une meilleure gestion de l'information dans les textes.

### 5.2.1 Des performances orthographiques appliquées inégales selon les cohortes

L'analyse comparative des données sur les cohortes EXP et REF dans les rubriques ORT-DICT et ORT-REDAC avait comme but d'orienter notre regard pour relever ensuite des régularités dans les comportements orthographiques des deux groupes (cf. tableau 2). En effet, la variation relative entre pré-tests et post-tests illustre deux tendances opposées : alors que la cohorte REF diminue son taux moyen de réussite dans l'accord de l'adjectif, stagne dans la conjugaison verbale et croît dans l'accord du participe passé, la cohorte EXP améliore nettement ses performances orthographiques dans ces trois secteurs. S'il est impossible de mesurer objectivement l'impact des plateformes à distance pour le groupe EXP et les effets du travail sur la grammaire en présentiel pour le groupe REF, il est néanmoins possible de suggérer l'existence d'un lien entre gestion textuelle et performance orthographique. Selon notre perspective, une gestion optimale des contenus informationnels devrait prendre en compte les critères suivants : respect global des consignes, aptitude du texte à reporter correctement les différents arguments, continuité des chaines de référents, capacité à articuler de manière cohérente arguments et référents.

Les études de cas semblent confirmer qu'une gestion défaillante de l'information dans les textes est souvent accompagnée de performances orthographiques plutôt médiocres. Les textes de REF5 sont défaillants d'un point de vue informationnel et de la gestion textuelle ;
les passages les plus flous en termes de cohérence argumentative présentent également de nombreuses erreurs orthographiques. De même, ce constat peut être élargi au premier texte de l'étudiant EXP11, qui néanmoins parvient à obtenir de meilleurs résultats dans le deuxième texte où les passages les plus clairs d'un point de vue argumentatif comportent également moins d'erreurs orthographiques.

### 5.2.2 Améliorer la gestion textuelle pour améliorer les performances orthographiques

La cohorte EXP a affiché un taux moyen de variation assez conséquent pour la rubrique ORT-REDAC. Pour rappel, ce groupe a suivi le module PADE-PRO, axé sur le perfectionnement des compétences de gestion textuelle. Ce travail a donné des résultats plutôt positifs en termes de gestion des contenus informationnels et presque tous les apprenants ont amélioré leurs scores. De plus, nous avons assisté en même temps à une diminution du taux moyen d'erreurs orthographiques lors du passage à l'écrit. Les données tirées de l'expérience de PADE-PRO semblent ainsi renforcer l'hypothèse de Brissaud (2011) sur la nécessité d'une approche intégrée de l'orthographe, notamment en ce qui concerne la dimension appliquée de l'orthographe en production de textes.

## 6 Conclusion

L'évaluation de la compétence orthographique et de son évolution est problématique. Notre étude pose deux questions prioritaires. En premier lieu, l'article montre que les résultats de l'évaluation du degré de conformité aux normes orthographiques dans le cadre de phrases hors contexte diffèrent de ceux obtenus par l'évaluation de la capacité à transférer ces normes en situation de production de texte. Cela signifie que l'on devrait distinguer entre évaluation des connaissances orthographiques et évaluation de la compétence orthographique appliquée. Deuxièmement, nos données montrent que la plupart des outils à disposition ne sont pas à même d'évaluer l'évolution de l'orthographe appliquée. Or, cette évaluation est fondamentale pour mesurer correctement les effets d'un dispositif didactique et pour en améliorer l'efficacité.

Notre étude suggère également que la compétence orthographique appliquée est liée à la compétence de gestion textuelle. Ainsi, une amélioration de la capacité à gérer la structure informationnelle d'un écrit produirait comme effet secondaire une amélioration de la compétence orthographique appliquée, alors qu'un travail explicite sur l'apprentissage des normes orthographiques ne garantit pas toujours une amélioration des performances orthographiques en situation de production de texte. Après tout, si l'objectif est l'évaluation d'une orthographe en acte, alors l'évaluation par la production écrite nous semble particulièrement pertinente pour les primo-entrants dans des filières universitaires technologiques. De cette manière, il est possible de valoriser les performances effectives et les stratégies orthographiques du scripteur, ce qui lui évitera d'être mis en échec par l'évaluation de connaissances orthographiques qui ne correspondent pas aux usages et aux besoins de ces filières.

Nous le rappelons, les données que nous avons à disposition se réfèrent à des effectifs globalement assez réduits, de par la composition même de notre terrain de recherche. Notre but est plus de donner des pistes de réflexion méthodologiques que l'on pourrait définir *pilotes*, que de formuler des interprétations générales qui ne sauraient, en aucun cas, être représentatives des compétences orthographiques de l'ensemble de la population des étudiants primo-entrants à l'université inscrits dans les filières technologiques. Cependant, elles ont le mérite de stimuler la réflexion scientifique sur les liens entre orthographe
appliquée et dimension textuelle qui, nous l’espérons, pourra donner lieu à de nouvelles recherches dans ce domaine.

## Bibliographie

Andreu, S., & Steinmets, C. (2016). *Les performances en orthographe des élèves en fin d'école primaire (1987-2007-2015)* (Note d'information N° 28). Direction de l'Evaluation, de la Perspective et de la Performance (DEPP).

Assaraf, A. (2011). Tous les performatifs en deux forces. Introduction au « système JP ». *Protée*, 39(1), 111-120.

Beaudet, C., Rey, V., (2015). *Écritures expertes en questions*. France : Presses universitaires de Provence.

Boch, F., Sorba, J., & Bessonneau, P. (2016). Évaluer les compétences rédactionnelles : Que tester ? *Le français aujourd'hui*, (193), 127-144.

Boch, F., Buson, L., & Blondel, C. (2012). Orthographe et grammaire à l'université : Quels besoins ? Quelles démarches pédagogiques ? Dans M.C. Pollet (dir.), *De la maîtrise du français aux littéracies dans l'enseignement supérieur* (Presses universitaires de Namur, p. 139-131).

Brissaud, C. (2011). Didactique de l'orthographe : Avancées ou piétinements ? *Pratiques. Linguistique, littérature, didactique*, (149-150), 207-226.

Brissaud, C., & Chevrot, J.-P. (2011). The late acquisition of a major difficulty of French inflectional orthography: the homophonic /E/ verbal endings, *Writing Systems Research*, 3, n°2: 129-144.

Brissaud, C., & Lefrançois, P. (2014). Évaluations ministérielles de l'écriture et de la langue dans la francophonie en fin de scolarité primaire : Quelles finalités ? *Langage et société, n° 148(2)*, 107-124.

Buty, C., Cosnefroy, L., Lefeuvre, S., Le Nir, M., Michalot, T., & Seguy, J.-Y. (2018). *Les bacheliers professionnels et l'enseignement supérieur. Analyse de l'expérience mise en œuvre à l'Ecole Nationale de l'Enseignement Professionnel Supérieur (ENEPS)* [Rapport de recherche]. Equipe EA4571, Laboratoire ECP (Education, Cultures, Politiques).

Catach, N. (1978). *L'Orthographe*. PUF.

Chanquoy, L., Tricot, A., & Sweller, J. (2007). *La charge cognitive. Théorie et applications*. Armand Colin : Paris.

Chervel, A. (2008). *L'orthographe en crise à l'école. Et si l'histoire montrait le chemin ?*, Paris : Retz.

Cogis, D., & Brissaud, C. (2019). À la poursuite des marques de genre.... In C. Mortamet. *L'orthographe : pratiques d'élèves, pratiques d'enseignants, représentations*, Presses universitaires de Rouen et du Havre, pp. 43-71, 2019.

Cogis, D., & Ros, M. (2003). Les verbalisations métagraphiques : Un outil didactique en orthographe ? *Les Dossiers des Sciences de l'Éducation*, 9(1), 89-98.

Fayol, M. (2013). *L'acquisition de l'écrit*, PUF.

Garcia-Debanc, C. (1984). Une évaluation formative en pédagogie de l'écriture. *Pratiques*, 44(1), 21-52.

Jacques, M.-P. (2016). Une linguistique outillée, pour quels objets ? *Histoire Epistémologie Langage*, 38(2), 87-99.

Kellogg, R. T., & Raulerson, B. A. (2007). Improving the writing skills of college students. *Psychonomic Bulletin & Review*, 14(2), 237-242.

Laurent, M. (2015). Travailler l'orthographe et la grammaire de manière inductive. In F. Boch & C. Frier, *Ecrire dans l'enseignement supérieur: Des apports de la recherche aux outils pédagogiques*. (ELLUG, p. 251-329).

Lucci, V., & Millet, A. (Éd.). (1994). *L'orthographe de tous les jours: Enquête sur les pratiques orthographiques des Français*. Paris, France: H. Champion.

Mout, T., & Brissaud, C (2017). Ce qu'ils savent faire et moins bien faire : le cas de l'orthographe. In M.-C. Guernier; C. Barré-De Miniac; C. Brissaud; T. Mout. *Ces lycéens en difficulté avec l'écriture et l'école*, ELLUG, pp.77-114, 2017, collection Didaskein.

Pallanti, L., Brissaud, C., & Jacques, M.-P. (2019). Conception d'un parcours d'apprentissage de l'écrit dans les filières professionnelles universitaires. *Revue internationale Méthodal. Méthodologie de l'enseignement et de l'apprentissage des langues*, 3.
PPN GCCD. (2013). *Programme Pédagogique National du DUT « Génie Civile et Construction Durable »*. Ministère de l'Enseignement Supérieur et de la Recherche.
https://cache.media.enseignementsup-recherche.gouv.fr/file/24/22/1/PPN_GCCD_255221.pdf

Rapp, B., Epstein, C., & Tainturier, M.-J. (2002). The integration of information across lexical and sublexical processes in spelling. *Cognitive Neuropsychology, 19*(1), 1-29.

Rodi, M., Geoffre, T., & Epars, et F. (2018). Francographe : Un outil d'évaluation des compétences orthographiques d'enfants entre 7 et 12 ans. *SHS Web of Conferences, 46*, 07012.

Simard, C., Dufays, J.-L., Dolz, J. & Garcia-Debanc, J. D. et C. (2010). *Didactique du français langue première*. De Boeck Supérieur.

<footnote n="1">¹ Les informations sont disponibles sur le site officiel de plateforme : https://www.orthodidacte.com/e-learning/ ; source contrôlée le 29/04/2020.</footnote>

<footnote n="2">² Les informations sont disponibles sur le site officiel de plateforme : https://www.uneducationpourdemain.org/sedortho/grammortho/ ; source contrôlée le 29/04/2020.</footnote>

<footnote n="3">³ Lors de l'expérimentation du module PADE-PRO, la plateforme Grammortho comptait cinq modules au total et était en cours de développement. Au moment où nous écrivons cet article, des modules ont été implémentés et Grammortho compte aujourd'hui dix modules.</footnote>

<footnote n="4">⁴ Pour des questions liées au droit d'auteur, les phrases insérées sont des exemples que nous avons construits nous-mêmes sur le modèle de la structure originale de deux phrases présentes dans le CCR®.</footnote>

<footnote n="5">⁵ Dans cette partie, nous avons choisi de comptabiliser uniquement les verbes performatifs pour des raisons liées au rôle que ces types de verbes recouvrent à l'égard de la structure compositionnelle des textes. En effet, si l'on conçoit une progression argumentative comme une progression d'actions de la pensée, les verbes performatifs représentent des nœuds relationnels qui articulent par *jonction* et *position* les différentes informations dans un texte (Assaraf, 2011).</footnote>

<footnote n="6">⁶ https://www.certificat-voltaire.fr/certificat-orthographe. Source vérifiée le 27/12/2019.</footnote>

<footnote n="7">⁷ Comité de pilotage du projet : De Vogue, Jacques, Rinck, Sitri, Lehmann, Oursel, Lefebvre (2017).</footnote>