# SOS français :
## Conception et évaluation
d'un didacticiel d'aide à la rédaction interactif

Rymenams, Sara(*)

Verlinde, Serge(*)

Marx, Steven(**)

Rosselle, Mieke(***)

Gerard, Laetitia(*)

## 1. Introduction

On trouve dans chaque méthode de français (langue maternelle - FLM, langue seconde - FLS, langue étrangère - FLE) et dans chaque approche didactique une composante plus ou moins développée consacrée à l'apprentissage de la grammaire et du lexique.

Toutefois, lorsqu'ils lisent des textes de leurs étudiants, les enseignants constatent encore trop souvent que de nombreux thèmes grammaticaux continuent à poser de sérieux problèmes et que le lexique est souvent mal maîtrisé, fait confirmé par l'analyse systématique d'un corpus de textes d'apprenants (Granger 2003). En effet, trop souvent encore, les enseignants doivent corriger les mêmes erreurs, même après y avoir attiré l'attention maintes fois.

Comme le soulignent à juste titre Desmet et Rivens (2010: 5) dans leur présentation du numéro thématique récent de la *Revue française de linguistique appliquée*, consacré à l'apprentissage de l'écriture, les nouvelles possibilités de traitement d'un *input* plus riche et de production d'un *output* plus diversifié expliquent l'intérêt accru pour le développement d'outils informatiques d'aide à la rédaction qui pourraient stimuler le développement des compétences grammaticales et lexicales chez l'apprenant en dehors des heures de présentiel.

La première partie de notre contribution est consacrée à la présentation d'un nouveau didacticiel d'aide à la rédaction à portée didactique, fondé sur des techniques empruntées au traitement automatique du langage et sur une importante base de données lexicographique : *SOS français*¹ (Verlinde et al. 2010). Cet outil s'inscrit dans la lignée des aides à la rédaction comme *Bon patron* et cherche, par sa visée didactique, à dépasser les objectifs que se fixent les correcteurs orthographiques et grammaticaux génériques que l'on trouve dans les suites bureautiques.

Ensuite, nous abordons le problème de l'efficacité de ces systèmes d'aide à la rédaction, à court terme, mais aussi à plus long terme. Si un effet immédiat sur la qualité des textes produits est attendu, un effet à plus long terme est loin d'être acquis. L'objectif est donc d'étudier s'il est justifié d'affirmer que ces aides à la rédaction conjuguent les avantages des systèmes de correction automatique d'erreurs, dont l'objectif est avant tout d'améliorer le texte, et des activités d'apprentissage de la langue, qui visent à améliorer les compétences

<footnote>(*) KU Leuven, Institut des Langues Vivantes</footnote>

<footnote>(**) KU Leuven, Service de l'Enseignement Universitaire</footnote>

<footnote>(***) HoGent / UGent</footnote>

<footnote>{sara.rymenams, serge.verlinde, laetitia.gerard}@ilt.kuleuven.be</footnote>

<footnote>steven.marx@duo.kuleuven.be</footnote>

<footnote>Mieke.Rosselle@UGent.be</footnote>
linguistiques de l'apprenant (Leacock et al. 2010: 100). Voire que, comme le défendent d'autres, ces didacticiels peuvent même véritablement se substituer à l'intervention humaine :

> a pedagogically-oriented grammar checker like *BonPatron* is at least as good as human correction for helping students improve their L2 writing skills. (Nadasdi et Sinclair 2007)

## 2. Systèmes d'aide à la rédaction

Le nombre d'outils fournissant une aide à la rédaction est impressionnant, tant en version papier qu'en version informatique : dictionnaires, grammaires, sites de traduction, etc. Parmi ces outils, les correcteurs orthographiques et grammaticaux occupent une place de choix par leur convivialité, puisqu'on peut les faire intervenir directement lors du processus de rédaction.

### 2.1. Correcteurs génériques et correcteurs spécifiques

Les systèmes d'aide à la rédaction se répartissent en deux catégories. On distingue tout d'abord les correcteurs orthographiques et grammaticaux *génériques* fournis avec les suites bureautiques (*Office* ou *OpenOffice*).² Ces correcteurs fonctionnent selon un mode de correction immédiate : une ou plusieurs alternatives sont offertes dès qu'une erreur est détectée, et ceci sans ajout de commentaire.

D'autres types de correcteurs, appelés *spécifiques*, ont davantage été conçus en fonction d'un public particulier, à savoir les apprenants langue seconde ou langue étrangère. Plus que de simples correcteurs, ces outils sont à considérer comme de véritables outils didactiques d'aide à la rédaction, qui signalent à l'utilisateur quand il y a une erreur et qui l'avertissent également lorsqu'un contexte est susceptible de donner lieu à une erreur. Il s'agit tout d'abord de produits commerciaux comme *Antidote* ou *Cordial*, qui viennent s'incruster dans les applications bureautiques ou qui peuvent être utilisés comme applications indépendantes. Les principales particularités de ces outils sont qu'ils offrent un commentaire en plus des corrections ou suggestions et qu'ils ajoutent au correcteur proprement dit toute une série d'informations de référence sous la forme d'un accès à des dictionnaires variés, voire à un corpus de phrases exemples authentiques.

Un deuxième sous-groupe dans cette catégorie est constitué de correcteurs en ligne. Le plus connu pour le français est le site *Bon Patron*, qui est disponible en accès libre et en version payante.³ Cette application fonctionne grosso modo comme les applications précédentes, mais l'algorithme de correction de *Bon Patron* se focalise encore davantage sur les erreurs commises par des apprenants non natifs (principalement anglophones). L'algorithme est d'ailleurs alimenté avec des informations tirées des textes soumis par les utilisateurs.

Pour les différents types d'outils, le pourcentage de détection d'erreurs dépend des textes soumis et est très variable. Les correcteurs génériques sont très performants en ce qui concerne les erreurs d'orthographe produites par des locuteurs natifs, mais nettement moins pour celles provenant de locuteurs non natifs (Leacock et al. 2010: 7, Rimrott et Heift 2008 pour l'allemand). Ils ne sont pas du tout à l'aise lorsqu'il s'agit d'erreurs de grammaire et de syntaxe (emploi des temps, emploi erroné de *ce qui/que* par exemple) et encore moins lorsqu'il s'agit de particularités lexicales (emploi des prépositions fixes par exemple) (O'Regan, Rivens et Desmet 2010: 69). On notera toutefois qu'il reste très difficile d'évaluer la performance de ces outils en termes absolus : le pourcentage d'erreurs détectées varie entre 60,4 % (O'Regan, Rivens et Desmet 2010: 77) et 85 % (Burston 2008) pour le logiciel *Antidote*, soit une différence de quelque 25 %, même si dans les deux cas, apparemment, les textes soumis proviennent d'apprenants de niveau intermédiaire. Outre ces différences quantitatives, Burston (2008) souligne à juste titre que les correcteurs ne
détectent souvent pas les mêmes erreurs.

## 2.2. SOS français

Conçu comme un tuteur semi-intelligent, SOS français est une application en ligne qui détecte dans les textes soumis des erreurs et des contextes à haut risque d'erreur qui demandent un contrôle supplémentaire. Cette façon de procéder permet d'outrepasser les limites imposées à la détection automatique d'erreurs. Elle permet en outre de revenir sur des points de grammaire dont on connaît la difficulté pour des étudiants de FLE/FLS (l'emploi des temps du passé par exemple), et qui échappent aux correcteurs génériques, voire aux correcteurs spécifiques présentés ci-dessus.

Concrètement, l'étudiant soumet son texte par le biais d'un formulaire en ligne. L'analyse du texte se fait en plusieurs phases. Dans un premier temps, l'orthographe et la syntaxe sont contrôlées successivement. Ce contrôle préalable est nécessaire pour garantir un contrôle optimal dans les étapes suivantes, allant du plus simple au plus complexe. Dans une première étape, des points grammaticaux et lexicaux élémentaires sont traités : par exemple la suite *par + infinitif* pour *en + participe*, erreur commise sous l'influence du néerlandais, ou encore quelques cas d'accord sujet-verbe. Ensuite, on passe aux patrons grammaticaux plus complexes (par exemple l'emploi du passé composé et de l'imparfait, l'emploi de la préposition auprès de noms géographiques) pour finir par un contrôle des patrons lexicaux (les prépositions après verbes et adjectifs et la combinatoire des mots). À chaque étape, une attention toute particulière est portée aux erreurs qui s'expliquent par l'interférence d'une autre langue, le néerlandais et l'anglais dans notre cas.⁴

À chaque phase de l'analyse, les thèmes grammaticaux pour lesquels des problèmes ont été détectés sont signalés par un lien (Figure 1). Le fait de procéder thématiquement a pour but de rendre l'utilisateur conscient des différentes composantes qui interviennent dans la rédaction d'un texte.

<figure><img src="image_1.png" /><figcaption>Figure 1 : Liste de thèmes grammaticaux contrôlés</figcaption></figure>

Le lien signale la nécessité de revoir le texte soumis pour ce thème spécifique. En affichant le texte, le didacticiel fait le partage entre les erreurs proprement dites (code couleur rouge) et les contextes à contrôler (code couleur orange) et propose pour chaque item un feedback bien ciblé (Figure 2). Nous optons ainsi pour une procédure analogue à celle proposée sur le site *Bon Patron*. Ce choix implique que

(w)hile more work for learners, and more time consuming, flagging errors instead of correcting them has the definite advantage of requiring users to reflect on what they are doing and actively use their knowledge of the language to make their own corrections. (Burston 2008)
L'emploi du gérontif

Par suivre

= corrigez avec les informations à droite.

Par suivre l'enseignement à domicile l'obtiendra mon diplôme d'école secondaire bien tôt. Pour moi c'était donc un système rentable qui a fait mes expositions totalement réel. J'espère que mes parents sont aussi content du résultat.

CORRIGEZ VOTRE TEXTE

<figure><img src="image_2.png" /></figure>

ex. Je zal slagen
door hard te
werken.

<figure><img src="image_3.png" /></figure>

ex. Tu réussiras par-travelier dur.
→ Tu réussiras en travaillant dur.

DOOR TE +
INFINITIEF

→ EN + PARTICIPE PRÊSENT
(= le gérontif)

Grammaire: formation du gérontif

<figure><img src="image_4.png" /></figure>

Le gérontif a toujours le même sujet que celui du verbé principal de la phrase (= *tu* travailles dur et *tu* réussis)

Grammaire: emploi du gérontif

<caption>Figure 2 : Le gérontif : procédure de contrôle</caption>

Le feedback lié à chaque item relevé dans le texte se présente donc sous la forme d'une procédure de contrôle systématique et interactive. Si l'étudiant en ressent le besoin, il peut également consulter l'aperçu de grammaire inclus dans chaque item (code couleur vert) (Figure 3).

<figure><img src="image_5.png" /><figcaption>Figure 3 : Le gérontif : aperçu grammatical</figcaption></figure>

L'une des particularités de l'application est qu'elle s'attaque également à des problèmes grammaticaux qui ne sont pas du tout retenus par les autres correcteurs grammaticaux. L'un d'entre eux est l'emploi de
l'imparfait et du passé composé, qui pose de gros problèmes à des apprenants néerlandophones par exemple, puisque, sous l'influence de leur langue maternelle, ils ont tendance à favoriser l'imparfait dans tous les contextes.

L'approche proposée se fonde sur les quatre règles de base de l'emploi de ces temps : a) l'imparfait exprimant l'habitude ; b) l'imparfait exprimant une caractéristique, une qualité intrinsèque de quelqu'un ou de quelque chose ; c) l'imparfait et le passé composé servant respectivement à décrire la situation, le décor, l'état physique ou psychique de quelqu'un et à situer les actions ; d) l'imparfait et le passé composé servant respectivement à décrire l'action dans son déroulement et l'action achevée.

L'originalité de la procédure que propose l'application *SOS français* est que les contextes d'emploi relevés dans les textes des utilisateurs sont directement mis en rapport avec les règles, grâce entre autres à des indicateurs formels qui facilitent l'interprétation du contexte. Ainsi, comme on peut le voir sur la figure ci-dessous, pour contrôler l'application de l'emploi de l'imparfait pour exprimer une habitude, le passage extrait du texte de l'utilisateur est entièrement contextualisé (Figure 4).

<figure><img src="image_6.png" /><figcaption>Figure 4 : Imparfait/passé composé : procédure de contrôle interactive</figcaption></figure>

Si la grammaire établit le canevas de la phrase, le lexique sert à le compléter. L'extrême variété du lexique explique que celui-ci est une source d'erreurs plus riche encore que la grammaire.

Les correcteurs traditionnels ne considèrent pas vraiment l'emploi des prépositions : « owing to its semantic nature, prepositional usage is an area that grammar checkers usually do not try to correct » (Burston 2008). Avec *SOS français* nous optons pour une stratégie de détection des mots qui se combinent avec des prépositions différentes en néerlandais (L1) et en français (L2) et demandons à l'utilisateur de contrôler l'emploi dans le texte.
<figure><img src="image_7.png" /><figcaption>Figure 5 : Prépositions : approche contrastive</figcaption></figure>

Pour ce qui est des combinaisons de mots, nous comparons les suites *nom + adjectif* et *nom + verbe* à une liste de 1,5 million de combinaisons tirées du corpus Web 1T 5-gram. Les suites qui ne se retrouvent pas dans le corpus sont à contrôler. Nous comptons affiner cette procédure dès que les combinaisons tirées du corpus Google seront étiquetées sémantiquement à l'aide d'une série de fonctions lexicales simplifiées inspirées des fonctions lexicales de Mel'čuk et al. (1995). Des tests ont montré qu'à l'aide de cet outillage, il est possible de détecter dans un texte une suite irrégulière comme *regagner ses forces* et d'y rattacher automatiquement la combinaison correcte *reprendre des forces* (Figure 6).

<figure><img src="image_8.png" /><figcaption>Figure 6 : Combinatoire des mots : correction</figcaption></figure>

L'avantage du tuteur est double : d'une part, l'étudiant se voit activement confronté aux erreurs qu'il a commises (cf. l'importance du « noticing the gap », Schmidt 1990 et 1995 ; Sheen 2010 : 170, 175) et a l'occasion de les corriger immédiatement à partir des commentaires fournis par le didacticiel. De plus, grâce au feedback explicite et métalinguistique, nous faisons l'hypothèse qu'il est également amené à
développer sa maîtrise de la langue française à plus long terme. D'autre part, vu l'influence positive
attendue sur le nombre d'erreurs, l'enseignant a la possibilité de se concentrer davantage sur des problèmes
discursifs plus complexes, sur la structure et sur le contenu lorsqu'il corrige des textes de ses étudiants.

Nous comptons également mettre des résumés d'erreurs et de contextes critiques à la disposition des
apprenants et des professeurs. Nous suivons ainsi les suggestions de Burston (2008) :

> Although intended for personal use, the error summary could equally well be
> submitted to instructors along with submitted work. This would allow teachers
> to track progress and focus on the writing (and learning) process and not just
> the product. Used in this way, the error summary could help guide the
> content of an entire class or indeed a whole curriculum.

et de Charnet et Panckhurst (1998), qui parlent dans ce contexte de l'élaboration automatique d'une sorte de « bilan grammatical » de l'apprenant.

## 3. Étude d'efficacité

Le rôle du feedback dans l'apprentissage d'une langue étrangère en général, et dans le traitement des erreurs commises par ces apprenants en particulier, a fait l'objet de très nombreuses études. Celles-ci révèlent avant tout le manque de consensus sur l'impact des différents types de feedback (oral versus écrit, direct versus indirect, focalisé versus non focalisé, etc. ; Sauro 2009, Sheen 2010, Vinagre et Muñoz 2011), voire même sur l'importance du feedback tout court (Ferris 2004, Truscott 2007). Ce manque de consensus s'explique en grande partie par la complexité du sujet ainsi que par la variation des conditions dans lesquelles les recherches ont été menées et des paramètres pris en compte lors de l'analyse des résultats (Felix 2005 et 2008, Guénette 2007, Truscott 2007). Pourtant, la grande majorité des spécialistes reconnaissent le rôle incontournable que joue le feedback dans le processus d'apprentissage, quelle qu'en soit la forme. De plus, plusieurs études récentes témoignent de l'effet positif du feedback sur le traitement des erreurs commises par les apprenants d'une langue étrangère, tant à l'oral qu'à l'écrit (voir entre autres Bitchener et al. 2005, Bitchener 2008, Ellis et al. 2008).

Ces dernières années, une attention particulière a été accordée aux effets du feedback dans le cadre de l'enseignement des langues assisté par ordinateur (ELAO). Ainsi, Cotos (2011), Heift (2004) et Sauro (2009) soulignent les effets positifs du feedback correctif fourni par l'ordinateur sur le développement de certaines compétences langagières.

Notre étude s'inscrit dans cette dernière tradition, contribuant à la discussion sur les effets du feedback correctif dans le contexte de l'ELAO. En même temps, elle est surtout nourrie par un souci pratique et didactique très élémentaire : si on élabore un didacticiel d'aide à la rédaction, on ne peut pas ignorer la question de savoir si celui-ci permet effectivement de réaliser les ambitions affichées.

Dans ce qui suit, nous décrivons les objectifs, la méthodologie et les premiers résultats d'une étude longitudinale menée auprès de quelque 200 étudiants de première année de la faculté de sciences économiques et de sciences de la gestion de la KU Leuven.

### 3.1. Objectifs et questions de recherche

Comme nous l'avons déjà expliqué au début de cet article, l'aide à la rédaction SOS français a été conçue dans un double objectif : elle est censée aider les étudiants de FLE (et FLS) à réviser leurs textes et à corriger certaines erreurs et vise ainsi à favoriser leur maîtrise du français (voir à ce sujet également Truscott et Hsu 2008).
Le type de feedback fourni par *SOS français* peut être décrit comme un feedback (plutôt) direct, métalinguistique et semi-focalisé. L'aide à la rédaction détecte la possible erreur, la souligne et offre soit la solution correcte (entre autres pour les interférences du néerlandais ou de l'anglais, par exemple l'emploi de *expectations* pour *attentes*), soit des pistes bien précises et interactives qui guident l'étudiant dans le processus de correction (pour l'emploi du passé composé et de l'imparfait, voir Figure 4). À cette procédure de correction s'ajoute à chaque fois un commentaire métalinguistique expliquant la nature du problème.⁵ Finalement, le didacticiel ne traite pas toutes les erreurs présentes dans les textes des étudiants, mais se concentre avant tout sur un choix d'erreurs récurrentes. De plus, comme il a été expliqué plus haut, ces erreurs sont regroupées en différentes rubriques afin de favoriser la systématicité de la procédure de contrôle et, ainsi, de sensibiliser l'utilisateur aux différentes composantes qui interviennent dans la rédaction d'un texte.

Conçu de telle façon, le feedback fourni par *SOS français* correspond aux quatre critères de base qui, dans la littérature, sont souvent considérés comme indispensables dans le processus d'apprentissage d'une langue étrangère : l'importance du *focus on form* (Long 2000 : 185), du *noticing the gap* (Schmidt 2001), du *pushed output* (Swain 1995) et le principe du *depth of processing* (Panova et Lyster 2002). Ou, en citant les mots de Van Beuningen (2010 : 11),

by offering learners opportunities to notice the gaps in their developing L2 systems, test interlanguage hypotheses, and engage in metalinguistic reflection, written CF [corrective feedback] has the ability to foster SLA [second language acquisition] and to lead to accuracy development.

Cotos (2011 : 423) ajoute que

intelligent feedback is claimed to be effective if it (a) is individualized according to specific learner input, (b) points to the error type, (c) explicitly explains the error, and (d) leads to self-correction.

Afin de mesurer l'efficacité du didacticiel *SOS français*, nous nous sommes proposé de trouver une réponse aux questions suivantes :

a) Les étudiants sont-ils capables de réviser leurs textes à l'aide du didacticiel *SOS français* ? En d'autres mots, la qualité formelle de leurs textes augmente-t-elle après l'utilisation du didacticiel ?

b) Après avoir parcouru le feedback fourni par *SOS français*, les étudiants parviennent-ils à anticiper sur certaines erreurs lorsqu'ils écrivent un nouveau texte, et ceci immédiatement après l'utilisation du didacticiel ? En d'autres mots, peut-on observer un effet à court terme sur la maîtrise du français par les étudiants ?

c) Après avoir parcouru le feedback fourni par *SOS français*, les étudiants parviennent-ils à anticiper sur certaines erreurs lorsqu'ils écrivent un nouveau texte, et ceci après un intervalle de quelques semaines ? En d'autres mots, peut-on observer un effet à moyen/long terme sur la maîtrise du français par les étudiants ?

d) Les résultats observés diffèrent-ils en fonction du type d'erreur commise et du thème grammatical ou lexical concerné ?⁶

## 3.2. Méthodologie

Notre étude a été conçue selon le principe (pre)test – immediate posttest – delayed posttest (Felix 2005 : 159-161). En trois sessions d'exercices, organisées au cours du premier semestre de l'année universitaire
2011-2012, quelque 200 étudiants de la première année en sciences économiques et en ingénieur de gestion de la KU Leuven ont traduit chacun au total six textes contenant des patrons typiques qui tendent à induire en erreur et pour lesquels *SOS français* fournit un feedback ciblé. Les étudiants avaient en principe un niveau de français correspondant au niveau B1 (B2) du Cadre Européen Commun de Référence pour les langues (Dupont et al. 2009). Avant l'expérimentation même, ils ont également passé un test de closure afin de déterminer leur niveau initial de français.

Chaque session d'exercices s'est déroulée de la même façon. D'abord, les étudiants étaient invités à traduire un premier texte du néerlandais au français. Le groupe expérimental, comptant une centaine d'étudiants, contrôlait alors la première version de cette traduction à l'aide du didacticiel *SOS français*, corrigeait d'éventuelles erreurs et soumettait ensuite une deuxième version, définitive, du même texte. Après ce premier exercice, les étudiants du groupe expérimental recevaient un deuxième texte à traduire et parcouraient la même procédure. Le groupe de contrôle, par contre, constitué également d'une centaine d'étudiants, faisait les mêmes exercices, mais n'avait pas l'occasion de recourir à l'aide à la rédaction *SOS français* : ils soumettaient donc à chaque fois une seule version du texte à traduire.⁷

Les textes à traduire comptaient entre 280 et 302 mots et contenaient tous un nombre comparable de mots ou de patrons grammaticaux problématiques identifiés par *SOS français*, allant de cas relativement simples (comme l'influence lexicales du néerlandais ou de l'anglais) à des patrons plus complexes (comme l'emploi des temps du passé ou la combinatoire de mots).⁸ Au total, 311 items sont présents, répartis sur les six textes, ce qui correspond à une moyenne de 51,83 items par texte. Les textes étaient fournis aux étudiants dans un ordre varié afin de neutraliser les différences de difficulté qu'il pourrait y avoir entre les textes.

La démarche du groupe expérimental nous permet a) de vérifier si les étudiants ont pu corriger certaines erreurs dans leurs textes à l'aide du feedback fourni par *SOS français* (grâce à la comparaison de la première et de la deuxième version du texte ; effet de *SOS français* sur la correction formelle des textes) ; b) de vérifier dans quelle mesure les étudiants évitent ou ne font plus certaines erreurs dans le deuxième texte à traduire dans la même session d'exercices (grâce à la comparaison des résultats du deuxième exercice avec ceux du premier exercice ; effet sur l'apprentissage à court terme) ; c) de vérifier dans quelle mesure les étudiants évitent ou ne font plus certaines erreurs au long des différentes sessions d'exercices (comparaison des textes produits au cours des différentes sessions d'exercices ; effet sur l'apprentissage à moyen/long terme) ; d) de voir si les résultats révèlent des divergences en fonction de la catégorie d'erreurs. Dans l'ensemble, les résultats du groupe de contrôle servent à interpréter les résultats du groupe expérimental dans un contexte plus large : *SOS français* a-t-il un impact déterminant sur le processus de rédaction ?

## 3.3. Premiers résultats

Les résultats que nous présentons ici, sont les premiers résultats complets obtenus à partir des données recueillies pendant les trois sessions d'exercices de l'expérimentation. Vu la phase actuelle dans laquelle se trouve l'étude, ces résultats ne nous offrent pas encore de réponse définitive et univoque aux questions de recherche formulées ci-dessus. Toutefois, ils illustrent bien la méthode d'analyse suivie et annoncent déjà quelques observations intéressantes.

### 3.3.1. Chiffres globaux

Au total, 212 étudiants ont participé aux sessions d'exercices *SOS français*. Le groupe expérimental comptait 107 étudiants, le groupe de contrôle 105. Nous avons collecté 1 754 textes, avec un total de 561 215 mots, soit une longueur moyenne de 319,96 mots par texte.
Sur les 561 215 mots, 23 929 mots, ou bien 4,26 %, présentent une déviance orthographique. Si nous excluons de nos calculs les mots grammaticaux les plus fréquents, comme les articles, les formes verbales *a* et *est* ainsi que les prépositions *à* et *de*, nous arrivons même à un total de 6,95 % de formes non identifiées. Actuellement, 79 914 séquences de textes ont été annotées, dont 89,96 % ont été retenues pour l'analyse. Les autres 10 % représentent des cas où le mot ou le patron était totalement absent du texte, ou des cas où il avait été remplacé par une alternative non pertinente.

Chaque forme annotée a reçu un score sur une échelle allant de 0 (forme non pertinente pour notre analyse) à 4 (forme correcte) :

<table><caption>Tableau 1 : Analyse des résultats : scores attribués aux séquences de texte annotées</caption><thead><tr><th>score</th><th>interprétation</th></tr></thead><tbody><tr><td>0</td><td>forme non pertinente pour notre analyse (et donc non retenue dans les statistiques)</td></tr><tr><td>1</td><td>forme fautive<br>ex. <i>disadvantage</i> pour <i>désavantage</i> (influences de l'anglais)<br>ex. <i>vivait</i> pour <i>a vécu</i> (emploi passé composé/imparfait)</td></tr><tr><td>2</td><td>forme plutôt fautive<br>ex. <i>peuve</i> pour <i>puisse</i> (emploi du subjonctif : forme hybride)</td></tr><tr><td>3</td><td>forme plutôt correcte<br>ex. <i>désavantages</i> pour <i>désavantage</i> (influences de l'anglais : le mot de base est correct, mais le nombre ne convient pas dans le contexte donné)<br>ex. <i>puissent</i> pour <i>puisse</i> (emploi du subjonctif : la personne n'a pas été respectée)</td></tr><tr><td>4</td><td>forme correcte</td></tr></tbody></table>

Si nous comparons les données disponibles pour les premières et deuxièmes versions des exercices du groupe expérimental, nous observons une diminution des formes incorrectes de 19,5 %, comme le montrent les chiffres repris dans le Tableau 2.

<table><caption>Tableau 2 : Aperçu global du nombre d'erreurs dans les versions 1 et 2 des textes traduits par le groupe expérimental</caption><thead><tr><th></th><th>version 1</th><th>version 2</th><th></th></tr></thead><tbody><tr><td>items fautifs (score 1 et 2)</td><td>8 468</td><td>6 812</td><td>-19,5 %</td></tr></tbody></table>

De façon générale, on pourrait estimer que ce résultat est relativement peu convaincant. On notera toutefois qu'à cause du nombre assez important de formes orthographiques déviantes, le didacticiel n'a pas pu identifier tous les contextes. D'autre part, les étudiants n'ont reçu aucune explication préalable sur le fonctionnement du didacticiel.

### 3.3.2. Analyse détaillée

Dans un premier temps, nous avons voulu déterminer s'il existait une différence de niveau de français entre le groupe expérimental et le groupe de contrôle. Pour cela, tous les étudiants ont passé un test de closure préalable à l'expérimentation. L'hypothèse d'égalité des moyennes obtenues pour les deux groupes n'est pas rejetée (test de Student: t(165) = -0,84 ; p > 0,01) ; nous assumons donc que la différence entre les deux groupes n'est pas significative.

Lorsque l'on parcourt les résultats partiels dont nous disposons actuellement, on constate qu'il y a bel et bien d'importantes différences entre les catégories d'erreurs ainsi qu'entre les différents thèmes grammaticaux ou
lexicaux (question d)). Ainsi, la progression du nombre d'items corrects est plus significative pour des catégories comme l'emploi du gé rondif (ou une erreur classique comme *par suivre*, par exemple, a été remplacée par la forme correcte *en suivant*) et les erreurs commises sous l'influence lexicale du néerlandais ou de l'anglais (où une forme erronée comme *expectations* a été remplacée par la forme correcte *attentes*). Pour d'autres catégories, comme l'emploi du subjonctif, l'emploi de l'imparfait et du passé composé ou l'emploi des auxiliaires, par contre, la progression est moins nette. À première vue, ces observations ne surprennent pas : dans le premier cas, il s'agit d'erreurs facilement détectables pour lesquelles les étudiants reçoivent un feedback concis, clair et précis, qui, dans bon nombre de cas, offre également la réponse correcte. En revanche, les catégories d'erreurs où la progression est moins convaincante, concernent des thèmes plus complexes qui demandent un effort cognitif plus considérable de la part de l'étudiant. En effet, dans ces cas-là, l'aide à la rédaction peut seulement fournir des pistes pour que celui-ci fasse le choix correct, grâce à des procédures de contrôle guidées et des informations métalinguistiques sur le thème en question. C'est alors à l'étudiant même d'interpréter le feedback en fonction du contexte.⁹ Il est toutefois trop tôt pour tirer des conclusions générales et déterminer dans quels cas le feedback semble ou non pertinent.

Pour les trois autres questions posées, nous illustrons dans un premier temps les tendances observées à l'aide d'une simple représentation graphique, pour les soumettre ensuite à une analyse de variance à mesures répétées qui doit nous permettre de déterminer la significativité statistique de ces tendances (O'Rourke et al. 2005). Nous appliquons cette double approche à l'un des items ciblés dans notre étude, l'emploi de la préposition devant les noms de pays, et, plus particulièrement, le cas de *au Portugal*.¹⁰

Les évolutions des scores obtenus par le groupe expérimental et le groupe de contrôle pour cet item commun peuvent être représentées graphiquement de la façon suivante :

<figure><img src="image_9.png" /><figcaption>Figure 7 : Item *au Portugal* : évolution des scores</figcaption></figure>

Sur le graphique, on distingue clairement les trois sessions d'exercices (1, 2 et 3), avec, à chaque fois, deux versions de deux textes (1.1 et 1.2 ; 2.1 et 2.2). Pour le groupe expérimental, douze scores sont ainsi donnés (six textes avec deux scores, avant et après l'utilisation de *SOS français*) et reliés entre eux pour en visualiser l'évolution. Pour le groupe de contrôle, nous ne disposons que de six scores, à chaque fois pour l'unique version du texte que ces étudiants nous ont soumis (1.1 ; 2.1).

Les traits verticaux montrent la différence entre les deux groupes pour le score obtenu pour la première version des textes. Cette différence est très prononcée dans certains cas, principalement pour la dernière session (3-1.1
et 3-2.1).

Les résultats pour le groupe expérimental montrent clairement que les scores obtenus après l'utilisation de SOS français (1.2 ; 2.2) sont (nettement) plus élevés que ceux obtenus pour la première version des textes (1.1 ; 2.1) (question a)) : le passage par SOS français aurait donc effectivement permis aux étudiants d'améliorer leurs productions écrites. L'évolution des scores entre la première version du premier texte et la première version du second texte est également positive pour les trois sessions pour le groupe expérimental (question b)). Cette tendance est moins cohérente pour le groupe de contrôle et suggèrerait donc un effet d'apprentissage à court terme en faveur du groupe expérimental.

De façon générale, la hausse des scores pour le groupe expérimental (de 2,2 à 3,4 environ) est plus claire que pour le groupe de contrôle (de 2,1 à 2,6 environ) (question c)). En d'autres mots, l'effet à moyen/long terme sur la maîtrise du français serait plus prononcé pour les étudiants qui ont travaillé avec SOS français que pour les autres.

Ces observations rudimentaires se voient confirmées en grande partie par les analyses statistiques. L'application de l'analyse de variance à mesures répétées sur les données pour l'item mentionné ci-dessus montre un effet de groupe significatif (F(1, 149) = 9,35; p < 0,01), c'est-à-dire qu'en moyenne, le score des étudiants du groupe expérimental est significativement plus élevé que celui du groupe de contrôle. Si l'on prend également en compte le facteur temps, l'impact conjugué du groupe et du temps présente un effet tout aussi déterminant (F(5, 745) = 3,28; p < 0,01). En d'autres mots, les deux groupes progressent, mais cette progression est plus significative pour le groupe expérimental que pour le groupe de contrôle. Il convient toutefois de détailler davantage les analyses pour répondre aux questions que nous nous sommes posées.

À la question de savoir si l'utilisation de SOS français a un effet immédiat sur la qualité des textes (question a)), la réponse est également positive, puisque presque toutes les comparaisons entre les premières versions et les deuxièmes versions des textes sont significatives (Tableau 3). La progression est relativement faible et non significative pour le dernier texte uniquement, ce qui semblerait indiquer qu'en fin de parcours, on assiste à une sorte de plafonnement. Toutefois, le score initial (3-2.1) pour l'item au Portugal y était déjà relativement élevé (aux alentours de 3,4), ce qui laissait peu de marge d'amélioration.

<table><thead><tr><td>Groupe expérimental</td><td>F</td></tr></thead><tbody><tr><td>Texte 1, version 1 - version 2</td><td>F(1,80) = 20,00***</td></tr><tr><td>Texte 2, version 1 - version 2</td><td>F(1,80) = 7,57***</td></tr><tr><td>Texte 3, version 1 - version 2</td><td>F(1,81) = 13,89***</td></tr><tr><td>Texte 4, version 1 - version 2</td><td>F(1,81) = 7,57***</td></tr><tr><td>Texte 5, version 1 - version 2</td><td>F(1,80) = 11,27***</td></tr><tr><td>Texte 6, version 1 - version 2</td><td>F(1,80) = 1,00</td></tr></tbody></table>

p < 0,01: ***; p < 0,05: **; p < 0,1: *

<caption>Tableau 3 : Question a) – effet immédiat de l'emploi de SOS français sur la qualité formelle des textes du groupe expérimental</caption>

En ce qui concerne l'effet sur l'apprentissage à court terme (question b)), c'est-à-dire la mesure dans laquelle les scores de la première version du deuxième texte de la même session sont significativement supérieurs à ceux de la première version du premier texte, il existe pour le groupe expérimental (Tableau 4).
<table><thead><tr><th>Groupe expérimental</th><th>Texte 1, Version 1</th><th>Texte 2, Version 1</th><th>Différence</th><th>F</th></tr></thead><tbody><tr><td>Session 1</td><td>2,26</td><td>2,93</td><td>0,67</td><td>F(1,78) = 17,87***</td></tr><tr><td>Session 2</td><td>2,59</td><td>2,96</td><td>0,37</td><td>F(1,80) = 3,64*</td></tr><tr><td>Session 3</td><td>2,73</td><td>3,32</td><td>0,59</td><td>F(1,80) = 16,82***</td></tr></tbody></table>

<table><thead><tr><th>Groupe de contrôle</th><th>Texte 1, Version 1</th><th>Texte 2, Version 1</th><th>Différence</th><th>F</th></tr></thead><tbody><tr><td>Session 1</td><td>2,07</td><td>2,21</td><td>0,14</td><td>F(1,79) = 0,28</td></tr><tr><td>Session 2</td><td>2,66</td><td>2,36</td><td>-0,30</td><td>F(1,80) = 5,63**</td></tr><tr><td>Session 3</td><td>2,34</td><td>2,63</td><td>0,29</td><td>F(1,80) = 6,08**</td></tr></tbody></table>

p < 0,01: ***; p < 0,05: **; p < 0,1: *

<caption>Tableau 4 : Question b) – effet d’apprentissage à court terme (groupe expérimental vs. groupe de contrôle)</caption>

Pour le groupe de contrôle, il ne semble que partiellement présent : la progression est significative pour la session 3. Pour la session 2, par contre, l’évolution, également significative, va en sens contraire avec un score moins bon pour le second texte par rapport au premier. Le groupe de contrôle ne connaît donc pas le même type de progression régulière que le groupe expérimental.

Pour évaluer l'effet sur l'apprentissage à long terme (question c)), nous avons comparé l'évolution des scores pour les premières versions des textes 1, 3 et 5, tant pour le groupe expérimental que pour le groupe de contrôle. Les différences ne sont pas significatives, aussi bien pour les groupes (F(1,159) = 1,16 ; p > 0,1) que pour l'effet conjoint du groupe et du temps (F(2,318) = 2,16 ; p > 0,1). Sur base de ces résultats, nous devons constater l'absence d'effet d'apprentissage à long terme. Cette conclusion doit toutefois être nuancée, en ce sens que nous notons bien une différence en fonction du niveau de français des étudiants. Si nous comparons les résultats obtenus pour le tiers des étudiants ayant obtenu les scores les plus élevés à ceux du tiers des étudiants avec les scores les plus faibles au test de niveau initial, nous constatons que le groupe supérieur voit son niveau s'améliorer de façon légèrement significative (F(2,54) = 2,74 ; p < 0,1), tandis que cette tendance est totalement absente chez les étudiants les plus faibles (F(2,52) = 0,87 ; p > 0,1). L'effet existerait donc, mais seulement pour les étudiants qui sont déjà plutôt forts en français.

Sur base de l'analyse de l'item *au Portugal*, nous pouvons donc conclure que l'emploi de *SOS français* a surtout un impact positif sur la qualité formelle des textes des étudiants ainsi que sur l'apprentissage du français à court terme. Par contre, pour l'apprentissage à plus long terme, cet effet est moins clair, et semble même être totalement absent pour les étudiants les plus faibles.

Ajoutons toutefois que ces observations ne valent que pour un seul item. Une analyse similaire est en cours pour les autres items retenus afin de dégager des conclusions plus générales quant à l'apport et à l'effet de ce type d'aide à la rédaction.

## 4. Conclusions

Le développement du tuteur semi-intelligent *SOS français* montre à quel point les applications informatiques destinées à l'apprentissage des langues ont tout intérêt à intégrer données et techniques provenant d'horizons différents : traitement automatique du langage, grammaire, dictionnaires, gestion de bases de données, etc. De ce creuset doivent pouvoir jaillir de nouvelles applications. Il conviendra ensuite, comme l'illustre l'étude d'efficacité entamée pour *SOS français*, d'en évaluer le rendement didactique.
Références bibliographiques

Bitchener, J. - Young, S. - Cameron, D. (2005). The effect of different types of corrective feedback on ESL student writing. *Journal of Second Language Writing*, 14, 191-205.

Bitchener, J. (2008). Evidence in support of written corrective feedback. *Journal of Second Language Writing*, 17, 102-118.

Burston, J. (2008). BonPatron: An Online Spelling, Grammar, and Expression Checker. *CALICO Journal*, 25:2, 337-347. (article disponible en ligne : https://calico.org/p-381-BonPatron%20(012008).html)

Charnet, C. - Panckhurst, R. (1998). Le correcteur grammatical: un auxiliaire efficace pour l'enseignant ? Quelques éléments de réflexion. *Alsic*, 1:2, 103-114. (article disponible en ligne : http://alsic.revues.org/index1494.html?file=1)

Cornu, Ph. - Grothen, H. - Lamote, J. (1994). *Erreurs courantes commises en français par (tous) les néerlandophones*. Leuven : Garant.

Cotos, E. (2011). Potential of Automated Writing Evaluation Feedback. *CALICO Journal*, 28:2, 420-459.

Desmet, P. - Klein, J.R. - Lamiroy, B. (2011). *Vous dites ?! Répertoire d'erreurs courantes en français chez les néerlandophones*. Acco : Leuven.

Desmet, P. - Rivens Mompean, A. (2010). Présentation. ELAO et production écrite: bilan et perspectives. *Revue française de linguistique appliquée*, XV-2, 5-8.

Dupont, O. - Rosselle, M. - Rymenams, S. 2009. « Pardon my French. Studenten zijn beter in Engels dan in Frans. » Poster présenté lors du *Language Teaching Symposium 2009*, Université de Gand, Belgique.

Ellis, R. - Sheen, Y. - Murakami, M. - Takashima, H. (2008). The effects of focused and unfocused written corrective feedback in an English as a foreign language context. *System*, 36:3, 353-371.

Felix, U. (2005). What do meta-analyses tell us about CALL effectiveness? *ReCALL*, 17:2, 269-288.

Felix, U. (2008). The unreasonable effectivness of CALL: What have we learned in two decades of research? *ReCALL*, 20:2, 141-161.

Ferris, D. (2004). The 'grammar correction' debate in L2 writing : Where are we, and where do we go from here ? (and what do we do in the meantime ?) *Journal of Second Language Writing*, 13:1, 49-62.

Ferris, D. (2006). Does error feedback help student writers ? New evidence on the short- and long-term effects of written error correction. In K. Hyland et F. Hyland (éds.). *Feedback in second language writing : Contexts and issues*. New York : Cambridge University Press. 81-104.

Granger, S. (2003). Error tagged learner corpora and CALL : a promising synergy. *CALICO Journal*, 20:3, 465-480. (article disponible en ligne : https://calico.org/memberBrowse.php?action=article&id=289)

Guénette, D. (2007). Is feedback pedagogically correct ? Research design issues in studies of feedback on writing. *Journal of Second Language Writing*, 16:1, 40-53.

Heift, T. (2004). Corrective feedback and learner uptake in CALL. *ReCALL*, 16:2, 416-431.

Leacock, C. - Chodorow, M. - Gamon, M. - Tetreault, J. (2010). *Automated grammatical error detection for language learners*. San Rafael : Morgan & Claypool.

Long, M. (2000). Focus on form in task-based language teaching. In R. Lambert et E. Shohamy (éds). *Language policy and pedagogy. Essays in honor of A. Ronald Walton*. Amsterdam-Philadelphia : John Benjamins. 179-192.
Long, M. (2007). *Problems in SLA*. Mahwah : Lawrence Erlbaum Associates.

Mel'čuk, I. - Polguère, A. - Clas, A. (1995). *Introduction à la lexicologie explicative et combinatoire*. Louvain-la-Neuve : Duculot.

Nadasdi, T. - Sinclair, S. (2007). Anything I can do, CPU can do better : A comparison of human and computer grammar correction for L2 writing using BonPatron.com. (article disponible en ligne :
http://bonpatron.com/Resources/Docs/dublin.pdf)

O'Regan, B. - Rivens Mompean, A. - Desmet, P. (2010). From Spell, Grammar and Style Checkers to Writing Aids for English and French as a Foreign Language : Challenges and Opportunities. *Revue française de linguistique appliquée*, XV-2, 67-84.

O'Rourke, N. - Hatcher, L. - Stepanksi, E.J. (2005). *A Step-by-Step Approach to Using SAS for Univariate and Multivariate Statistics*. Cary, NC: SAS Institute Inc.

Panova, I. - Lyster, R. (2002). Patterns of corrective feedback and uptake in an adult ASL classroom. *TESOL Quarterly*, 36:4, 573-595.

Rimrott, A. - Heift, T. (2008). Evaluating automatic detection of misspellings in German. *Language Learning & Technology*, 12:3, 73-92. (article disponible en ligne :
http://llt.msu.edu/vol12num3/rimrottheift/)

Sauro, S. (2009). Computer-mediated corrective feedback and the development of L2 grammar. *Language Learning & Technology*, 13:1, 96-120. (article disponible en ligne :
http://llt.msu.edu/vol13num1/sauro.pdf)

Scheen, Y. (2010). The role of oral and written feedback in SLA. *Studies in Second Language Acquisition*, 32:2, 169-179.

Schmidt, R. (1990). The role of consciousness in second language acquisition. *Applied Linguistics*, 11:1, 129-158.

Schmidt, R. (1995). *Attention and awareness in foreign language learning*. Honolulu : University of Hawai'i Press.

Schmidt, R. (2001). Attention. In Robinson, P. (éd.). *Cognition and second language instruction*. Cambridge : Cambridge University Press. 3-32.

Swain, M. (1995). Three functions of output in second language learning. In G. Cook et B. Seidlhofer (éds). *Principle and practice in applied linguistics : Studies in honor of H.G. Widdowson*. Oxford : Oxford University Press. 125-144.

Truscott, J. (2007). The effect of error correction on learners' ability to write accurately. *Journal of Second Language Writing*, 16:4, 255-272.

Truscott, J. - Hsu, A.Y. (2008). Error correction, revision and learning. *Journal of Second Language Writing*, 17, 292-305.

Van Beuningen, C. (2010). Corrective feedback in L2 writing : theoretical perspectives, empirical insights and future developments. *International Journal of English Studies*, 10 (2), 1-27.

Verlinde, S. - Paulussen, H. - Slootmaekers, A. - De Wachter, L. (2010). La conception de didacticiels intégrés d'aide à la lecture, à la traduction et à la rédaction. *Revue française de linguistique appliquée*, XV-2, 53-65.

Vinagre, M. - Muñoz, B. (2011). Computer-mediated corrective feedback and language accuracy in
telecollaborative exchanges. *Language Learning & Technology*, 15:1, 72-103. (article disponible en ligne : http://llt.msu.edu/issues/february2011/vinagremunoz.pdf)

## Sites web

Antidote : http://www.druide.com/a correcteur.html

Bon Patron : http://www.bonpatron.com

Cordial : http://www.synapse-fr.com/correcteur orthographe grammaire.htm

Spanish Checker : http://spanishchecker.com

Spell Check Plus : http://www.spellcheckplus.com

Speller Pages : http://spellerpages.sourceforge.net/index.html

TextPad : http://www.textpad.com

Web 1T 5-Gram : http://www.ldc.upenn.edu/Catalog/catalogEntry.jsp?catalogId=LDC2009T25

L'application se décline également en une version pour l'espagnol (Spanish Checker) et pour l'anglais (Spell Check Plus).

<footnote n="1">¹ La réalisation du didacticiel a été rendue possible grâce au financement du projet *SOS français* dans le cadre du Fonds de développement didactique de l'Association KU Leuven.</footnote>

<footnote n="2">² On retrouve des correcteurs orthographiques également dans des éditeurs de textes (TextPad par exemple). Certains sont même intégrables dans n'importe quelle page web (Speller Pages par exemple).</footnote>

<footnote n="3">³ La version payante du logiciel offre les avantages suivants :

Cette version donne un résumé de fautes à la fin du document, suivi d'explications explicites et un outil de conjugaison. En plus, beaucoup de fautes sont reliées à des exercices qui permet (sic) de maîtriser la règle en cause. Un autre avantage important est que l'éditeur peut être à plein écran, ce qui facilite la rédaction. (site Bon Patron)</footnote>

<footnote n="4">⁴ Si la liste des thèmes grammaticaux et lexicaux repris dans le didacticiel n'est pas exhaustive, elle vise surtout à attirer l'attention des étudiants sur des patrons dont il est bien connu qu'ils posent souvent problème. Le choix de ces thèmes s'est fait sur base de l'analyse d'un corpus de textes (Granger 2003), de productions écrites de nos propres étudiants de FLE à la KU Leuven et de recueils d'erreurs typiques commises par les néerlandophones (Cornu et al. 1994 ; Desmet et al. 2011).</footnote>

<footnote n="5">⁵ Selon Heift (2004), un feedback métalinguistique accompagné d'une mise en évidence visuelle de l'erreur dans le texte de l'étudiant donnerait les meilleurs résultats au niveau du traitement des erreurs.</footnote>

<footnote n="6">⁶ Citons entre autres Ferris (2006), qui fait référence aux « treatable » et « untreatable errors ».</footnote>

<footnote n="7">⁷ Certains spécialistes, dont Long (2007), affirment que l'évolution de la compétence écrite d'apprenants d'une L2 peut seulement être mesurée par le biais de productions écrites libres, non guidées, dans lesquelles les apprenants se concentrent avant tout sur le contenu du texte et non sur sa forme. Nous avons dû opter pour un exercice de traduction, un exercice semi-guidé, parce que c'était le seul moyen de collecter des données de façon systématique et en nombre suffisant.</footnote>

<footnote n="8">⁸ Les catégories retenues dans cette étude sont : l'influence lexicale du néerlandais et de l'anglais, le gérondif, les auxiliaires *avoir* et *être*, l'accord sujet-verbe, l'emploi de prépositions avec les noms de pays, l'emploi du passé composé et de l'imparfait, le subjonctif, les prépositions fixes après verbes et adjectifs et la combinatoire des mots. Les erreurs d'orthographe proprement dites ainsi que celles contre le genre des substantifs sont exclues de l'analyse parce qu'elles représentent un nombre de mots relativement élevé et de nature très variée, ce qui compliquerait considérablement l'analyse quantitative et qualitative des données.</footnote>

<footnote n="9">⁹ Les observations décrites, quoique partielles, semblent confirmer ce que Felix (2008 : 155) avait déjà constaté : « A trade-off effect between linguistic complexity and accuracy was observed. While spelling was reported to have been significantly improved, grammar was not. » Ou, en d'autres termes, les erreurs qui demandent un effort cognitif moins</footnote>
important de la part de l'apprenant, ont tendance à être corrigées plus facilement que les erreurs qui demandent une réflexion plus approfondie.

<footnote n="10">¹⁰ Les scores attribués pour cet item sont les suivants : ‘4’ lorsque la préposition a été utilisée correctement (au Portugal) ; ‘1’ pour toute autre préposition (en / dans / à / a / aux Portugal) ; ‘0’ lorsque l’item était absent du texte en question.</footnote>