# Apprendre à bien lire: une étude coût efficacité des Actions Lecture

Marion Hainaut, Sébastien Massoni, Jean-Christophe Vergnaud

► To cite this version:

Marion Hainaut, Sébastien Massoni, Jean-Christophe Vergnaud. Apprendre à bien lire: une étude coût efficacité des Actions Lecture. 2010. halshs-00543307

HAL Id: halshs-00543307

https://shs.hal.science/halshs-00543307v1

Submitted on 6 Dec 2010

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

Apprendre à bien lire : une étude coût efficacité
des Actions Lecture

Marion HAINAUT, Sébastien MASSONI, Jean-Christophe VERGNAUD

2010.86

<figure><img src="image_4.png" /></figure>
Apprendre à bien lire : une étude coût efficacité des
Actions Lecture *

Marion Hainaut †

Sébastien Massoni ‡

Jean-Christophe Vergnaud §

Septembre 2010

<footnote>*Nous tenons à remercier Mr Rousse IEN, Mr Caron directeur du Centre Paris - Lecture, le groupe de travail académique chargé du suivi des Actions Lecture, les équipes enseignantes des écoles, les enseignants du centre Paris Lecture, Mr François Miranda informaticien au rectorat, Mme Catherine Czwalinsky, Mme Quenardel Inspectrice d'Académie adjointe et Mr Rosselet Inspecteur d'Académie. Nous remercions beaucoup les deux rapporteurs pour leurs suggestions ainsi que Victor Lavy pour ses commentaires.</footnote>

<footnote>†Académie de Paris, guanacos@hotmail.fr</footnote>

<footnote>‡CES - Université Paris 1, sebastien.massoni@gmail.com (corresponding author)</footnote>

<footnote>§CES - CNRS, vergnaud@univ-paris1.fr</footnote>
Résumé

Cet article présente une analyse coût-efficacité d'une action pédagogique menée dans les écoles primaires de la Ville de Paris. Ce dispositif, intitulé Actions Lecture, vise à développer les compétences et le goût pour la lecture des élèves. La mesure de l'impact de ce projet a été réalisé à partir d'une enquête menée au sein de différentes classes avant et après les Actions Lecture. L'estimation économétrique repose sur la méthode de différences-en-différences avec une comparaison entre l'évolution de différents indicateurs de résultats dans les classes ciblées et dans des classes contrôles. Ces indicateurs d'impacts portent sur l'attitude par rapport à la lecture, sur la vie de classe et sur trois compétences scolaires. L'évaluation conclut à un impact positif des Actions Lecture sur le rapport à la lecture et sur les compétences scolaires. De plus, le ratio-coût efficacité montre que cette méthode pédagogique est plus efficace que celui d'une mesure en termes de réduction de la taille de classe que l'on aurait pu obtenir en réaffectant les enseignants utilisés lors de ce dispositif.

**Mots clés :** Economie de l'éducation, Evaluation des politiques publiques, Analyse coût-efficacité, Expérience de terrain

How to Improve Pupils' Literacy? A Cost-Effectiveness Analysis of
the *Action Lecture*

Abstract

This article presents a cost-effectiveness analysis of an innovative teaching method run in some nursery and primary schools in Paris. This project, named *Action Lecture*, is designed to improve pupils' abilities and taste on literacy. We report the results of an evaluation of this program. We describe the experimental protocol that was built to estimate the program's impact on several types of indicators (academic abilities, attitude toward reading, school life) by comparing the evolution of treatment schools and control schools. Data were processed following a Differences-in-Differences (DID) method. Then we use the estimation of the impact on academic achievement to conduct a cost-effectiveness analysis and take a reduction of the class size program as a benchmark. The results are positive for the *Action Lecture* program both in terms of impact's evaluation and in terms of cost-effectiveness ratio.

**Keywords:** Economics of education; Evaluation, Cost-effectiveness analysis, Field experiment

Code JEL : I2 ; I21
# 1 Introduction

La pédagogie n'est pas un champ d'application habituel de l'analyse coût-efficacité et l'article présent est à ce titre une gageure (cf. Levin (2001)). L'intérêt de l'analyse coût-efficacité suppose que deux conditions soient réunies. D'une part, l'analyse coût-efficacité est tributaire de l'existence d'objectifs bien définis et mesurables, d'autre part, elle n'a de sens que si elle permet de confronter plusieurs alternatives dans le but de choisir celle qui a le meilleur ratio coût-efficacité. Ces conditions sont rarement réunies dans le champ pédagogique.

Les Actions Lecture sont un dispositif pédagogique existant dans les écoles maternelles et primaires de la Ville de Paris. L'évaluation de celles-ci nécessitait donc de définir des indicateurs d'objectifs et de les rendre comparable à d'autres outils pédagogiques en termes de ratio coût-efficacité.

Les objectifs déclarés des Actions Lecture sont ambitieux et les traduire en termes d'indicateurs n'allait pas de soi. En effet, celles-ci tentent d'apporter à la fois un enrichissement culturel et de donner des ressources appropriées dans le domaine de la lecture tout en améliorant les compétences inscrites dans le programme scolaire. Le livre est considéré comme outil d'apprentissage et comme moyen pour accéder à des connaissances culturelles. Les Actions Lecture font le pari que l'école peut être à la fois un lieu d'apprentissage et de culture, selon l'idée que la culture est nécessaire aux apprentissages. En pratique, les Actions Lecture sont un dispositif pédagogique partenarial entre la Ville de Paris et l'Académie de Paris qui est mis en œuvre par le Centre Paris Lecture<fnref n="1" />. Les écoles se portent volontaires en présentant un projet. Le moment fort d'une Action Lecture consiste en deux semaines pendant lesquelles les élèves sont totalement immergés dans une recherche sur des thèmes tels que " Qui est La Fontaine ? ", " Pourquoi on écrit ? "... Ces deux semaines sont organisées selon une pédagogie inspirée du mouvement Freinet et mobilisent un important travail collectif.

Ces Actions Lecture sont donc portées par une vision pédagogique peu traditionnelle et discutée dans le milieu enseignant. Il n'est évidemment pas du ressort de l'économie de prendre position dans un tel débat, notamment sur l'importance du lien entre culture et apprentissage. On sait néanmoins que ce lien existe, les meilleurs lecteurs étant en moyenne plus compétents dans la maîtrise et l'utilisation de l'écrit. Les résultats des enquêtes PIRLS (Progress in International Reading Literacy Study), réalisées auprès des élèves de CM1, le montrent explicitement.

L'étude présentée ici a été conçue pour mesurer l'efficacité des Actions Lecture par rapport aux objectifs annoncés des Actions Lecture, à savoir, l'amélioration du goût et la pratique de la lecture, de la connaissance des livres, de la motivation des élèves pour l'école et des compétences scolaires. Nous avons donc utilisé une partie du questionnaire de l'enquête PIRLS 2001 adressé aux élèves ainsi que des exercices tirés des évaluations nationales. C'est sur ce dernier indicateur que nous menons jusqu'à son terme la démarche coût - efficacité. Le coût de ces Actions Lecture tient

<footnote n="1">1. Ce centre, financé par la Mairie de Paris, est composé d'enseignants et d'animateurs BCD. Outre les Actions Lecture avec les enseignants de Paris Lecture, il prend aussi en charge la formation des animateurs de bibibliothèque dans les écoles. Toutes les actions (scolaires et périscolaires) sont coordonnées par Robert Caron.</footnote>
notamment aux postes de Professeur des écoles mis à la disposition du Centre Paris Lecture. On peut donc comparer l'efficacité éventuelle des Actions Lecture à leurs coûts en termes de personnel mobilisé et produire un ratio coût - efficacité. Ce ratio n'a d'intérêt que si on peut le comparer à des mesures coût -efficacité d'autres actions pédagogiques. L'étude de T. Piketty et M. Valdenaire (2006)<fnref n="2" /> sur l'effet de la taille de classe en offre la possibilité. Cette étude quantifie en termes de résultats aux évaluations nationales du début CE2³ l'effet de la réduction d'un élève par classe en CE1.

Cette étude des Actions Lecture a été menée au cours de l'année scolaire 2007 - 2008. Elle a concerné environ 400 élèves de CE1 à CM2 dans 6 écoles. Trois classes, soit environ 70 élèves ont servi de groupe témoin. Les résultats de l'évaluation sont largement positifs, confirmant les appréciations des enseignants participants. Le ratio coût - efficacité est supérieur à celui d'une réduction de la taille de classe.

L'article est organisé selon le plan suivant. La section 2 présente la méthodologie utilisée dans l'étude. Dans la section 3 nous présentons les caractéristiques de la population d'élèves observées. La section 4 est consacrée aux résultats de l'évaluation. Le calcul du ratio coût - efficacité est dérivé dans la section 5. La section 6 conclut par une discussion.

# 2 Méthode

Dans cette section, nous présentons tout d'abord le mode de fonctionnement des Actions Lecture et ensuite nous présentons l'enquête et la méthode de traitement des données.

## 2.1 Principe des Actions Lecture

Le principe des Action Lecture relève de la pédagogie de projet. Le projet lui même d'une Action Lecture est proposé par l'équipe pédagogique et préparé ensuite conjointement par les enseignants de l'école et l'équipe de Paris Lecture. Lors d'une Action Lecture, l'équipe de Paris lecture, un ou plusieurs enseignants et des animateurs se déplacent pendant deux semaines à plein temps pour quelques classes d'une école, ou pour l'école entière, voire sur tout un groupe scolaire comprenant maternelles et élémentaires. Les élèves sont réunis dans des groupes dont l'effectif est plus restreint que celui d'une classe normale et les niveaux de classe sont mélangés. On peut donc avoir dans un groupe, quinze enfants allant du CP au CM2. Un des principes est de favoriser la création de liens entre différents acteurs : personnels enseignants de l'école et ceux en délégation pour Paris lecture, les animateurs de la Ville de Paris travaillant pour Paris lecture, parents d'élèves, élèves, bibliothécaires...

Bien que les projets choisis par les écoles soient de nature très variée (exemple de problématique : *L'Art, à quoi ça sert ? Pourquoi on écrit ? Qu'est-ce qu'un voyage ?*

<footnote n="2">2. Elle est fondée sur les données du panel 1997. Le panel primaire 1997 permet de suivre la scolarité primaire complète d'un échantillon national représentatif d'environ 9600 élèves entrés au CP à la rentrée 1997 (les non redoublants sont donc entrés en 6ème à la rentrée 2002, et passeront leur baccalauréat en 2010).</footnote>

<footnote n="3">3. Ces évaluations de CE2 ont été remplacées depuis par des évaluations en fin de CE1.</footnote>
Qu'est ce qu'on mange ?) l'organisation d'une Action Lecture est codifiée dans son déroulement. En général, les activités du matin sont consacrées à un temps de recherche pour répondre à la problématique choisie. Cette recherche peut prendre la forme de découverte de livres, d'enquête dans les musées ou même la collecte des représentations spontanées des élèves sur la question posée. Le midi, les adultes se réunissent pour une concertation. Et enfin l'après midi, des ateliers techniques sont mis en place : cahier de bord, carnet de lecteur, expression orale, exercices méthodologiques dans les livres, ateliers en bibliothèque ou création d'un journal de l'action lecture. Un temps quotidien est d'ailleurs consacré pour la lecture de ce journal. Tous les jours, les élèves doivent être confrontés à l'écrit dans toutes ses formes et à également produire des textes eux-mêmes. Par contre lors de ces Actions Lecture, les matières comme les maths par exemple, ne sont pas abordées sur le plan disciplinaire. Les objectifs pédagogiques recherchés à travers une Action Lecture sont donc de mettre les élèves en contact avec une grande quantité de livres, ainsi qu'avec des lecteurs experts, de vérifier la compréhension enfantine, de donner aux élèves un temps de lecture libre, et enfin, de faire écrire les élèves chaque jour. Ce sont le personnel supplémentaire et cette pédagogie contrastant avec le fonctionnement ordinaire d'une école qui permettent de faire de l'Action lecture, une expérience particulière dans les apprentissages des élèves.

## 2.2 Données recueillies

Pour mesurer l'efficacité des Actions Lecture, trois catégories d'indicateurs ont été retenues, l'objectif étant de mesurer l'impact des Actions Lecture sur ces indicateurs. La première catégorie comprenait des indicateurs mesurant le rapport à la lecture :

- un score de Goût pour la lecture construit à partir de 5 questions reprises de l'enquête PIRLS 2001 : Es-tu d'accord avec la phrase suivante : 1) J'aime lire, 2) J'aime discuter des livres avec d'autres, 3) Je suis content si quelqu'un m'offre un livre en cadeau, 4) Je lis seulement si je dois le faire, 5) Je trouve que lire est ennuyeux, avec 4 modalités de réponse Je suis vraiment d'accord, Je suis assez d'accord, Je ne suis plutôt pas d'accord, codées respectivement 2, 1,5, 0,5 et 0 pour les trois premières questions et codées dans l'ordre inverse pour les deux dernières, le score sur 10 étant obtenu par la somme des 5 réponses;

- un score de Pratique de la lecture construit à partir de 3 questions de l'enquête PIRLS 2001 : à la maison, 1) je lis pour le plaisir..., 2) je lis des romans..., 3) je lis des BD...; avec 4 modalités de réponse, Chaque jour ou presque chaque jour, Une ou deux fois par semaine, Une ou deux fois par mois, Jamais ou presque jamais, codées 2, 1,5, 0,5 et 0 et un score sur 10 est obtenu en multipliant par 5/3 la somme des 3 réponses;

- la connaissance de titres de livre et d'auteurs,

- un classement de six activités de loisir en termes de préférences : lecture, TV, jeux vidéo, jeux, DVD, ordinateur.

La seconde catégorie concernait la vie de l'élève en classe et comprend :

- une série de questions sur l'attitude en classe et la vie de la classe,
- un score d'Autoévaluation construit à partir de 3 questions de l'enquête PIRLS 2001 : *Lire est très facile pour moi, Je ne lis pas aussi facilement que d'autres élèves, C'est très difficile pour moi de lire à voix haute* ; avec les mêmes 4 modalité de réponse et de codage que pour les questions de goût pour la lecture et un score sur 10 construit comme le score de pratique de la lecture.

Enfin, les compétences scolaires étaient mesurées à l'aide d'exercices tirés des évaluations nationales de CE2 pour les élèves de CE1 et CE2 et de 6ème pour les élèves de CM1 et CM2. Trois compétences ont été considérées : *Reconnaître la nature ou le genre d'un texte, Traiter des informations, Faire des inférences*. Dans les évaluations nationales de CE2 et 6ème, ces compétences représentaient environ 10% des items de français.

A la suite des Actions Lecture, les élèves ont également donné leur opinion sur les Actions Lecture au travers des questions suivantes :

- deux questions d'appréciation, la première leur demandant simplement s'ils l'avaient aimé (Oui, beaucoup ; Oui, un peu ; Non, pas trop ; Non, pas du tout ; Ne sais pas) et la seconde leur demandant s'ils avaient eu l'impression de travailler (Oui, c'était beaucoup de travail et c'était difficile ; Oui, mais c'était un travail différent du travail habituel en classe ; Non, j'étais très occupé mais ce n'était pas vraiment du travail ; Non, je n'étais pas très occupé);

- un score de Jugement construit à partir de 6 questions : Es-tu d'accord avec la phrase suivante : *L'Action – Lecture m'a permis 1) de mieux connaître les différents types de livres, 2) de mieux savoir où rechercher une information, 3) d'apprendre à parler devant un groupe, 4) d'apprendre à travailler avec des camarades, 5) d'apprendre à expliquer mes idées, 6) de mieux rédiger des textes, avec 5 modalités de réponse allant de Je suis vraiment d'accord à Je ne suis plutôt pas d'accord en passant par Je ne sais pas, les 4 premières étant codées comme précédemment et la dernière codée 1 et un score sur 10 est obtenu en multipliant par 5/6 la somme des 6 réponses* ;

- une question sur l'effet de l'Action Lecture : *Cette Action–Lecture t'a-t-elle donné envie de lire ?* avec pour modalités de réponse Oui, mais je lisais déjà beaucoup ; Oui, cela m'a donné envie de lire et je lis davantage maintenant ; Non, cela ne m'a pas donné envie de lire plus qu'avant ; Non, au contraire, cela m'a plutôt découragé de la lecture ; Je ne sais pas.

En matière de données individuelles, nous n'avons pas pu procéder à une enquête auprès des familles pour des raisons de faisabilité et nous nous sommes restreints à quelques caractéristiques renseignées directement par les élèves : âge, sexe, mois de naissance, langue parlée à la maison (la variable Français principalement indique que les élèves parlent toujours ou presque toujours le français à la maison, Langue africaine indique que l'élève déclare maîtriser une langue africaine subsaharienne, et similairement pour l'Arabe et Langue asiatique), condition de logement (Chambre seul correspond à un élève qui déclare avoir une chambre pour lui tout seul). Nous disposions toutefois des données moyennes de composition sociale de chaque école et qui constituent une bonne mesure de l'environnement social de ces écoles.
## 2.3 Organisation de l'enquête

La collecte des données s'est faite par une série de trois questionnaires auxquels les élèves répondaient en ligne dans la salle informatique de leur école. Les élèves répondaient au premier questionnaire dans la semaine précédant l'Action Lecture, au second dans la semaine suivant l'Action Lecture et au dernier, environ 2 mois après l'Action Lecture. L'évaluation a concerné des écoles pour lesquelles les Actions Lecture se sont déroulées entre le mois de Novembre 2007 et de Mars 2008, les derniers questionnaires ayant donc été complétés fin mai 2008 et les premiers début Novembre 2007. Pour tenir compte de ces décalages temporels dans le recueil des données, nous avons créé une variable "date de passage" qui indique le mois pendant lequel la donnée a été recueillie : elle vaut 1 pour Septembre et 12 pour Août et si la date de passage était *t* pour le premier questionnaire, elle vaut *t* + 1 pour le second et *t* + 3 pour le troisième. Pour les classes témoins, un timing équivalent a été respecté, mais bien évidemment pour celles-ci, entre les deux premiers questionnaires, il s'agissait d'un temps scolaire habituel. Pour ces classes témoins, l'enquête s'est également déroulée entre Novembre pour les premiers passages et Mai pour les derniers.

Même si le dispositif d'évaluation avait été conçu pour limiter son caractère intrusif dans la vie de la classe, les enseignants ont manifesté un certain mécontentement quant aux perturbations engendrées. Aussi, l'intégration d'un groupe témoin dans le dispositif d'évaluation a été limitée à trois classes (CE2, CM1 et CM2) dans trois écoles différentes qui ne participaient pas à une Action Lecture et dont les enseignants ont bien voulu accepter cette enquête. La solution consistant à recruter pour le groupe témoin, des classes dans des écoles participant à une Action Lecture mais non concernées ou bien des classes qui plus tard bénéficieraient d'une Action Lecture n'était pas possible. Il n'était pas non plus possible de tirer au sort parmi les écoles volontaires pour une Action Lecture, des écoles constituant le groupe témoin. Il y en a effet très peu d'écoles dont le projet est refusé.

Nous indiquons dans le tableau suivant le contenu des 3 questionnaires.

<table><caption>TABLE 1 – Questionnaires</caption><thead><tr><th>Questionnaire</th><th>1</th><th>2</th><th>3</th></tr></thead><tbody><tr><td>Caractéristiques ind.</td><td>Oui</td><td>Non</td><td>Non</td></tr><tr><td>Rapport à la lecture</td><td>Oui</td><td>Non</td><td>Oui</td></tr><tr><td>Vie de l'élève</td><td>Oui</td><td>Non</td><td>Oui</td></tr><tr><td>Compétences</td><td>3 exercices</td><td>2 exercices</td><td>1 exercice</td></tr><tr><td>Opinion sur l'AL</td><td>Non</td><td>Appréciation + Jugement</td><td>Effet de l'AL</td></tr></tbody></table>

Avec 40 questions et 3 exercices, le questionnaire 1 était le plus long, le second était le plus court avec 8 questions et 2 exercices et le troisième comprenait 27 questions et 1 exercice. Pour chacune des compétences scolaires, les exercices étaient différents au premier et au second passage et pour tenir compte de différences de difficulté, l'ordre de passage était choisi aléatoirement de façon toutefois que dans chaque classe, une moitié des élèves passe selon un ordre et l'autre moitié selon l'autre ordre.
## 2.4 Modèle économétrique

Pour évaluer l'impact des Actions Lecture, nous utilisons la méthode des différences en différences (DED) qui depuis son développement par Ashenfelter et Card (1985) est très souvent utilisée dans les travaux d'économie empirique (cf. Imbens et Wooll- dridge - 2009 - pour une présentation des différentes méthodes économétrique et Ber- trand et al. - 2004 - pour une revue critique de l'utilisation des DED en évaluation). Le principe de base repose sur l'observation d'une variable d'intérêt au sein de deux groupes (le groupe traitement et le groupe contrôle) lors de deux périodes (avant et après le traitement) et sur le calcul d'une double différence dans l'évolution de cette variable : le gain moyen au cours du temps du groupe contrôle est soustrait au gain moyen du groupe traitement. Cette double différence permet de corriger à la fois le biais de comparaison des résultats en deuxième période entre les deux groupes qui résulterait d'une différence permanente entre ces deux groupes, et le biais de comparaison au sein du groupe traitement qui proviendrait de l'effet du temps indépendamment du traitement. L'équation de base de ce modèle est la suivante :

$$Y_{it} = \beta_{0} + \beta_{1}T_{it} + \beta_{2}A_{it} + \beta_{3}A_{it}T_{it} + \epsilon_{it}$$

avec $Y_{it}$ la variable évaluée, $T_{it}$ une variable indicatrice valant 1 si les sujets ap- partiennent au groupe traitement, $A_{it}$ une variable indicatrice valant 1 en période post-traitement, et $A_{it}T_{it}$ l'interaction des deux effets. L'estimation par MCO du coefficient $\beta_3$ nous permet d'estimer l'effet du traitement.

Le tableau suivant permet de comprendre le fonctionnement du modèle de DED :

<table><caption>TABLE 2 – Principe de la méthode de différences-en-différences</caption><thead><tr><th></th><th>Période pré-traitement</th><th>Période post-traitement</th><th>Différences</th></tr></thead><tbody><tr><th>Groupe traitement</th><td>Y<sub>t1</sub><br>(β<sub>0</sub> + β<sub>1</sub>)</td><td>Y<sub>t2</sub><br>(β<sub>0</sub> + β<sub>1</sub> + β<sub>2</sub> + β<sub>3</sub>)</td><td>ΔY<sub>t</sub> = Y<sub>t2</sub> - Y<sub>t1</sub><br>(β<sub>2</sub> + β<sub>3</sub>)</td></tr><tr><th>Groupe contrôle</th><td>Y<sub>c1</sub><br>(β<sub>0</sub>)</td><td>Y<sub>c2</sub><br>(β<sub>0</sub> + β<sub>2</sub>)</td><td>ΔY<sub>c</sub> = Y<sub>c2</sub> - Y<sub>c1</sub><br>(β<sub>2</sub>)</td></tr><tr><th>Différences</th><td></td><td></td><td>ΔΔY = ΔY<sub>t</sub> - Y<sub>c</sub><br>(β<sub>3</sub>)</td></tr></tbody></table>

Nous étendons ensuite ce modèle de base à notre cas de groupes multiples (différentes écoles), de niveaux multiples (CE vs CM), et de périodes de temps mul- tiples (différentes dates de passage). On procède ainsi à un raffinement de l'analyse par ajout d'effets fixes en estimant les régressions suivantes :

$$Y_{it} = \beta_{0} + \beta_{1}T_{it} + \beta_{2}A_{it} + \beta_{3}A_{it}T_{it} + \alpha o_{i} + \epsilon_{it} \quad (1)$$

$$Y_{it} = \beta_{0} + \beta_{1}T_{it} + \beta_{3}A_{it}T_{it} + \alpha o_{i} + \gamma v_{t} + \lambda l_{i} + \epsilon_{it} \quad (2)$$

$$Y_{it} = \beta_{0} + \beta_{3}A_{it}T_{it} + \alpha o_{i} + \gamma v_{t} + \lambda l_{i} + \tau u_{i} + \epsilon_{it} \quad (3)$$

$$Y_{it} = \beta_{0} + \beta_{3}A_{it}T_{it} + \alpha o_{i} + \gamma v_{t} + \lambda l_{i} + \tau u_{i} + \alpha X_{it} + \epsilon_{it} \quad (4)$$

$$Y_{it} = \beta_{0} + \beta_{3}A_{it}T_{it}l_{1} + \beta'_{3}A_{it}T_{it}l_{2} + \alpha o_{i} + \gamma v_{t}l_{1} + \gamma' v_{t}l_{2} + \lambda l_{i} + \tau u_{i} + \alpha X_{it} + \epsilon_{it} \quad (5)$$
Le modèle (1) correspond à l'estimation basique de l'impact des Actions Lecture tenant compte de l'ordre de passage des exercices ($o_i$ est une variable indicatrice); (2) on rajoute les effets du temps ($v_t$ est la variable "date de passage" des questionnaires à laquelle on rajoute 12 mois pour les groupes CE2 et CM2 - cette prise en compte du temps conduit à supprimer la variable indicatrice de période $A_{it}$), du niveau ($l_i$ est une variable indicatrice valant 1 si les individus sont en CM); le modèle (3) incorpore l'effet des écoles ($u_i$ est un ensemble de variables indicatrices par école - de même l'intégration des écoles permet de supprimer la variable indicatrice de traitement $T_{it}$); le modèle (4) nous permet de prendre en compte l'effet de différentes caractéristiques individuelles ($X_{it}$ est l'ensemble des variables suivant : sexe, retard ou avance scolaire, langues parlées à la maison, le fait d'avoir une chambre seule); enfin le modèle (5) nous permet de différencier l'effet des actions lecture selon que l'élève soit de niveau CE ou CM à l'aide de variables croisées.

Une fois l'impact des Actions Lecture estimé, on va chercher à identifier quels sont les groupes qui ont le plus bénéficié de cette politique grâce à l'ajout de variables croisées au niveau de la variable d'évaluation du traitement. Ainsi les différents modèles (1) à (4) prendront la forme suivante :

$$Y_{it} = \beta_0 + \sum_{k=1}^{n} \beta_3^k A_{it} T_{it} G_k + \dots + \epsilon_{it}$$

avec $G_n$ une variable de spécification à k modalités (e.g. sexe, langues, niveau, etc.) et $\beta_3^n$ les différentes estimations de l'impact du traitement.

# 3 Etat des lieux

Nous présentons tout d'abord une synthèse des caractéristiques de la population étudiée ainsi que les résultats initiaux principaux en termes d'attitude par rapport à la lecture et de résultats scolaires et nous étudions ensuite la qualité du groupe contrôle.

## 3.1 Statistiques descriptives

Comme on peut le voir dans le tableau 3 résumant les caractéristiques individuelles des élèves, les écoles présentent une diversité sociale importante. En moyenne, la composition sociale est proche de celle des écoles publiques parisiennes, c'est-à-dire plus favorisée que celles des écoles en dehors de Paris. Habituellement, les Actions Lecture sont plutôt ciblées sur les écoles parisiennes défavorisées, ce qui ne fut pas le cas pour l'année scolaire où a eu lieu l'évaluation et les écoles observées sont donc plus favorisées que les écoles habituellement destinatrices des Actions Lecture.

La première particularité des écoles observées est leur cosmopolitisme (64% d'enfants parlent uniquement le Français à la maison dans les écoles bénéficiant des Actions Lecture contre 87% dans l'échantillon PIRLS) et ce cosmopolitisme est plus important dans les écoles les plus défavorisées socialement. La composition sociale du groupe témoin est plus défavorisée que celle du groupe traité mais au niveau
<table><caption>TABLE 3 – Caractéristiques individuelles</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Tot.</th><th colspan="6">Ecoles Action Lecture</th><th colspan="4">Classes témoins</th></tr><tr><th>10</th><th>11</th><th>13</th><th>14</th><th>18</th><th>19</th><th>Tot</th><th>2</th><th>13</th><th>20</th></tr></thead><tbody><tr><td>Arrondissement</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Nb élèves</td><td>477</td><td>54</td><td>103</td><td>97</td><td>78</td><td>24</td><td>121</td><td>75</td><td>27</td><td>21</td><td>27</td></tr><tr><td>Niveau (a=CE1, ..)</td><td></td><td>a,d</td><td>a,d</td><td>a,b,c,d</td><td>b,c,d</td><td>a</td><td>b,c,d</td><td></td><td>d</td><td>b</td><td>c</td></tr><tr><td>Favorisé (%)</td><td>50</td><td>41</td><td>46</td><td>74</td><td>61</td><td>14</td><td>40</td><td>37</td><td>57</td><td>30</td><td>23</td></tr><tr><td>Chambre seul (%)</td><td>44</td><td>40</td><td>41</td><td>51</td><td>40</td><td>36</td><td>42</td><td>44</td><td>64</td><td>35</td><td>44</td></tr><tr><td>Français principal.(%)</td><td>64</td><td>50</td><td>62</td><td>72</td><td>77</td><td>41</td><td>61</td><td>56</td><td>63</td><td>57</td><td>48</td></tr><tr><td>Langue Africaine (%)</td><td>8</td><td>19</td><td>1</td><td>1</td><td>3</td><td>30</td><td>12</td><td>8</td><td>4</td><td>5</td><td>15</td></tr><tr><td>Arabe (%)</td><td>14</td><td>17</td><td>12</td><td>9</td><td>12</td><td>26</td><td>19</td><td>12</td><td>8</td><td>0</td><td>26</td></tr><tr><td>Langue Asiatique (%)</td><td>6</td><td>10</td><td>12</td><td>1</td><td>3</td><td>9</td><td>4</td><td>19</td><td>4</td><td>52</td><td>7</td></tr><tr><td>En retard (%)</td><td>10</td><td>27</td><td>7</td><td>6</td><td>3</td><td>30</td><td>10</td><td>11</td><td>4</td><td>10</td><td>19</td></tr><tr><td>En avance (%)</td><td>4</td><td>4</td><td>4</td><td>2</td><td>3</td><td>4</td><td>4</td><td>4</td><td>4</td><td>5</td><td>4</td></tr></tbody></table>

scolaire, ce biais est compensé par une présence plus importante d'élèves issus de la communauté chinoise dont on sait que la réussite scolaire est bonne.

Nous donnons dans le tableau 4 les résultats moyens obtenus pour le premier questionnaire pour les principaux indicateurs de résultats en fonction de certaines caractéristiques individuelles.

<table><caption>TABLE 4 – Résultats initiaux moyens principaux indicateurs</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Ens.<br>(se)</th><th rowspan="2">Fille</th><th rowspan="2">CE</th><th rowspan="2">Chamb<br>seul</th><th colspan="3">Autre langue</th><th rowspan="2">En<br>retard</th></tr><tr><th>Afric.</th><th>Arabe</th><th>Asiat.</th></tr></thead><tbody><tr><td>Goût lecture</td><td>7,6 (1,7)</td><td>7,8</td><td>7,6</td><td>7,6</td><td>7,4</td><td>7,3</td><td>7</td><td>7,4</td></tr><tr><td>Pratique lecture</td><td>6,7 (2,4)</td><td>6,9</td><td>6,8</td><td>7</td><td>5,9</td><td>6,7</td><td>6,7</td><td>6,3</td></tr><tr><td>Autoévaluation</td><td>7,5 (1,7)</td><td>7,7</td><td>7,5</td><td>7,6</td><td>6,7</td><td>7,3</td><td>7</td><td>6,5</td></tr><tr><td>Résultats</td><td>6,0 (2,3)</td><td>6,1</td><td>4,8</td><td>6,4</td><td>5,0</td><td>5,5</td><td>5,7</td><td>4,5</td></tr></tbody></table>

Ces résultats étaient attendus : légère supériorité des filles, résultats inférieurs pour les élèves issus de l'immigration et pour les élèves en retard. On observe également (non indiqué dans le tableau) des corrélations positives entre ces indicateurs. Par ailleurs, comparé aux résultats de PIRLS 2001, les élèves de l'échantillon parisien ont un goût et une pratique de la lecture plus importante ainsi qu'une meilleure opinion d'eux mêmes<fnref n="4" />.

## 3.2 Qualité du groupe contrôle

Etant donné que les conditions expérimentales de recrutement du groupe contrôle n'étaient pas optimales, il s'agit d'examiner si les deux groupes ne diffèrent pas trop

<footnote n="4">4. Par rapport aux élèves des autres pays de l'enquête PIRLS, les élèves français ont la particu- larité d'avoir des scores d'autoévaluation particulièrement faibles. Plus élevés que la moyenne natio- nale, les scores d'autoévaluation parisiens correspondent à la moyenne observée dans les meilleurs pays européens.</footnote>
pour les résultats initiaux. Pour cela, nous considérons d'abord une régression simple avec le modèle basique suivant (a)

$$Y_{i1} = \beta'_{0} + \beta'_{1}T_{i1} + \alpha'o_{i} + \epsilon_{it}$$

puis nous introduisons dans le modèle (b) les effets du temps et du niveau et dans le modèle (c) les différentes caractéristiques individuelles. Si le coefficient $(\beta'_{1})$ de la variable de traitement n'est pas significativement différent de 0, cela signifiera que le groupe contrôle est conforme au groupe traité. Dans le tableau 5 sont reportées les valeurs de ces coefficients de régression pour les principaux indicateurs et les trois modèles considérés ainsi que l'écart type et le R².

<table><caption>TABLE 5 – Résultats des régressions pour les principaux indicateurs (* indique une significativité à 10%, ** à 5% et *** à 1%)</caption><thead><tr><th></th><th>(a)</th><th>(b)</th><th>(c)</th></tr></thead><tbody><tr><td><strong>Goût lecture</strong><br>(s.e)<br>R<sup>2</sup></td><td>-0,077<br>(0,247)<br>0,0011</td><td>-0,120<br>(0,241)<br>0,0072</td><td>-0,480<br>(0,248)<br>0,0492</td></tr><tr><td><strong>Pratique lecture</strong><br>(s.e)<br>R<sup>2</sup></td><td>-0,069<br>(0,284)<br>0,0066</td><td>-0,048<br>(0,285)<br>0,0085</td><td>-0,088<br>(0,306)<br>0,0405</td></tr><tr><td><strong>Autoévaluation</strong><br>(s.e)<br>R<sup>2</sup></td><td>-0,33*<br>(0,200)<br>0,0056</td><td>-0,36*<br>(0,198)<br>0,0108</td><td>-0,51***<br>(0,196)<br>0,1051</td></tr><tr><td><strong>Résultats</strong><br>(s.e)<br>R<sup>2</sup></td><td>-0,44*<br>(0,259)<br>0,0487</td><td>-0,052<br>(0,231)<br>0,3229</td><td>-0,267<br>(0,219)<br>0,4442</td></tr><tr><td><strong>Présence de variables de contrôle</strong></td><td></td><td></td><td></td></tr><tr><td>-Temps</td><td>Non</td><td>Oui</td><td>Oui</td></tr><tr><td>-Niveau</td><td>Non</td><td>Oui</td><td>Oui</td></tr><tr><td>-Caractéristiques individuelles</td><td>Non</td><td>Non</td><td>Oui</td></tr></tbody></table>

A l'exception de l'autoévaluation pour lequel on observe un niveau significativement plus bas dans le groupe traité, les autres résultats sont satisfaisants en particulier pour l'indicateur de Résultats. Si dans le modèle (a), les Résultats apparaissaient inférieurs (au seuil de 10%) dans le groupe traité, ceci disparaît à partir du moment où l'on contrôle le niveau : en effet, les notes étaient meilleurs pour les cours moyens que pour les cours élémentaires. Parmi les autres indicateurs, seuls les résultats pour les connaissances de titres de livre et la pratique de travail collectif sont significativement différents (plus faibles dans le groupe traité). Pour la connaissance des auteurs, le classement relatif de la lecture et de la télévision, le goût pour le travail collectif, la prise de parole et la discussion de livre à l'école, il n'y a pas de différences.
# 4 Mesure de l'impact des Actions Lecture

Nous donnons d'abord les résultats d'appréciation par les élèves avant d'examiner l'impact sur trois catégories d'indicateurs de résultats étudiés.

## 4.1 Evaluation des Actions Lecture par les élèves

La bonne ou mauvaise appréciation par les élèves d'un enseignement proposé n'est certainement pas une évaluation suffisante mais elle apporte néanmoins des indications importantes. Dans le tableau 6 sont reportés les résultats moyens de ces appréciations.

<table><caption>TABLE 6 – Appréciation des Actions lecture</caption><thead><tr><th rowspan="2">A aimé Oui</th><th colspan="4">Impression de travailler</th><th rowspan="2">score jugement</th><th rowspan="2">Entretenu goût pour la lecture</th><th rowspan="2">Lit plus maintenant</th></tr><tr><th>Oui, difficile</th><th>Oui, différent</th><th>Non, occupé</th><th>Non, pas occupé</th></tr></thead><tbody><tr><td>88%</td><td>14%</td><td>56%</td><td>15%</td><td>14%</td><td>7/10</td><td>40%</td><td>37%</td></tr></tbody></table>

Les Actions Lecture sont manifestement bien appréciées par les élèves. Mais faute de données comparables pour d'autres actions pédagogiques, il est difficile d'en tirer des conclusions. Quels sont les élèves qui ont le plus apprécié ? Nous donnons dans le tableau suivant les résultats de régressions pour expliquer le score de Jugement et les réponses "Oui, mais c'était un travail différent du travail habituel en classe" et "Oui, cela m'a donné envie de lire et je lis davantage maintenant" en fonction des caractéristiques individuelles, de la composition sociale, d'indicatrices pour les écoles et le niveau et d'une variable indiquant si l'élève avait des résultats initiaux supérieurs à la médiane. Nous ne reportons dans le tableau que les variables significatives.

<table><caption>TABLE 7 – Résultats des régressions sur la perception des Actions Lecture</caption><thead><tr><th rowspan="2"></th><th colspan="2">Jugement</th><th rowspan="2">Oui, différent</th><th rowspan="2">Lit Plus Maintenant</th></tr><tr><th>coeff</th><th>(s.e)</th></tr></thead><tbody><tr><td>En retard</td><td>1,16***</td><td>(0,392)</td><td>NS</td><td>NS</td></tr><tr><td>En Avance</td><td>NS</td><td></td><td>**</td><td>NS</td></tr><tr><td>Langue arabe</td><td>NS</td><td></td><td>**</td><td>NS</td></tr><tr><td>Résultats > médiane</td><td>NS</td><td></td><td>NS</td><td>**</td></tr><tr><td>R<sup>2</sup> ou pseudo R<sup>2</sup></td><td colspan="2">0,112</td><td>0,07</td><td>0,072</td></tr></tbody></table>

Le principal résultat de ces régressions est qu'il n'y a pas réellement de différences d'appréciation entre les diverses catégories d'élèves. Certaines indicatrices d'école et de niveau sont également parfois significatives mais sans que cela soit systématique pour les trois critères d'appréciation : même s'il y a des Actions Lecture plus ou moins réussies du point de vue des élèves, ces différences restent faibles.
Il existe un débat sur la pertinence des pédagogies alternatives en milieux défavorisés. Il est souvent avancé que ce sont les familles de milieux favorisés qui sont les plus friandes de ce type de pédagogie pour leurs enfants. Toutefois Reuter (2007) a observé une efficacité importante d'une pédagogie Freinet dans une école située en milieu défavorisé. Nos données sont trop restreintes pour éclairer réellement ces questions mais globalement, l'appréciation des Actions Lecture ne dépend pas des caractéristiques individuelles.

## 4.2 Impact sur les compétences scolaires

En matière de compétences scolaires, l'impact des Actions Lecture était estimé sur trois compétences particulières. Nous donnons dans le tableau suivant les résultats des régressions selon la méthode des différences en différences pour les 4 modèles considérés.

<table><caption>TABLE 8 – Estimation de l'impact des Actions Lecture sur les résultats scolaires</caption><thead><tr><th></th><th>(1)</th><th>(2)</th><th>(3)</th><th>(4)</th></tr></thead><tbody><tr><td>Nature d'un texte<br>(s.e)<br>R<sup>2</sup></td><td>+0,557<br>(0,382)<br>0,148</td><td>+0,333**<br>(0,155)<br>0,293</td><td>+0,316**<br>(0,177)<br>0,342</td><td>+0,353**<br>(0,153)<br>0,393</td></tr><tr><td>Traiter des informations<br>(s.e)<br>R<sup>2</sup></td><td>-0,257<br>(0,489)<br>0,012</td><td>-0,004<br>(0,206)<br>0,054</td><td>+0,006<br>(0,203)<br>0,085</td><td>-0,053<br>(0,210)<br>0,122</td></tr><tr><td>Faire des inférences<br>(s.e)<br>R<sup>2</sup></td><td>+0,310<br>(0,536)<br>0,153</td><td>+0,406**<br>(0,180)<br>0,333</td><td>+0,445**<br>(0,177)<br>0,360</td><td>+0,457**<br>(0,180)<br>0,415</td></tr><tr><td>Résultats d'ensemble<br>(s.e)<br>R<sup>2</sup></td><td>+0,228<br>(0,337)<br>0,139</td><td>+0,344**<br>(0,136)<br>0,320</td><td>+0,369***<br>(0,131)<br>0,371</td><td>+0,383***<br>(0,128)<br>0,455</td></tr><tr><td>Présence de variables de contrôle</td><td></td><td></td><td></td><td></td></tr><tr><td>-Temps</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Niveau</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Ecoles</td><td>Non</td><td>Non</td><td>Oui</td><td>Oui</td></tr><tr><td>-Caractéristiques individuelles</td><td>Non</td><td>Non</td><td>Non</td><td>Oui</td></tr></tbody></table>

Pour les deux modèles les plus complets, on observe un impact positif significatif pour deux compétences sur trois, *Reconnaître la nature ou le genre d'un texte* et *Faire des inférences*. Pour tous les modèles raffinés, l'impact positif est significatif pour les résultats agrégés. On peut noter que le coefficient varie peu selon les modèles.

Pour les deux compétences pour lesquelles il y a un effet significatif, nous testons avec le modèle (5) s'il y a des différences d'impact selon les niveaux. Les résultats dans le tableau 9 indiquent que même s'il semble que les Cours Moyens ont relativement plus progressé pour la première compétence et moins pour la troisième, la différence de progression n'est néanmoins pas significative.
<table><caption>TABLE 9 – Estimation de l'impact des Actions Lecture et du temps selon le niveau</caption><thead><tr><th></th><th>AL<br>CE</th><th>AL<br>CM</th><th>Test<br>d'inég.</th><th>Temps<br>CE</th><th>Temps<br>CM</th><th>Test<br>d'inég.</th></tr></thead><tbody><tr><td>Nature d'un texte<br>(s.e)</td><td>+0,262<br>(0,198)</td><td>+0,416*<br>(0,225)</td><td>NS</td><td>+0,112***<br>(0,026)</td><td>0,053**<br>(0,021)</td><td>NS</td></tr><tr><td>Faire des inférences<br>(s.e)</td><td>+0,612***<br>(0,245)</td><td>+0,327<br>(0,266)</td><td>NS</td><td>+0,092***<br>(0,023)</td><td>0,070***<br>(0,017)</td><td>NS</td></tr></tbody></table>

De même, il n'y a pas lieu de distinguer une variable temps selon les niveaux pour tenir compte d'une progression différente selon les niveaux. Dans le modèle (4), le coefficient de la variable temps est significatif et vaut 0,074 pour la première compétence, 0,077 pour la troisième et 0,079 pour les résultats agrégés.

L'impact positif des Actions Lecture a-t-il bénéficié plus à certains élèves ? Du fait de faibles effectifs pour certaines caractéristiques individuelles, nous ne considérons que deux caractéristiques à savoir le genre et le fait de parler l'arabe ou une langue d'Afrique subsaharienne. Pour cela, nous introduisons dans le modèle (4) des variables croisant la variable d'évaluation du traitement et les caractéristiques individuelles. Les résultats donnés dans le tableau suivant montrent qu'il n'y a pas de différences d'impact entre les sous-groupes.

<table><caption>TABLE 10 – Estimation de l'impact sur les résultats d'ensemble selon différents sous groupes</caption><thead><tr><th></th><th>coeff.</th><th>(s.e)</th><th>Test d'inégalité</th></tr></thead><tbody><tr><td>Genre<br>-Fille</td><td>+0,347</td><td>(0,181)</td><td>NS</td></tr><tr><td>-Garçon</td><td>+0,418</td><td>(0,171)</td><td></td></tr><tr><td>Langues<br>-Africaine / Arabe</td><td>+0,401</td><td>(0,283)</td><td>NS</td></tr><tr><td>-Autres</td><td>+0,378***</td><td>(0,140)</td><td></td></tr></tbody></table>

## 4.3 Impact sur le rapport à la lecture

L'évolution du rapport à la lecture est estimé à travers 5 indicateurs (tous sont mesurés pas un score sur 10). Les résultats sont résumés dans le tableau 11.

Les résultats (non reportés ici) des estimations de l'impact en différenciant les élèves selon leur genre ainsi que la langue parlée montrent que l'impact sur le Goût pour la lecture et la connaissance de titres et d'auteurs est similaire entre les différentes catégories d'élèves.
<table><caption>TABLE 11 – Estimation de l'impact sur l'attitude par rapport à la lecture</caption><thead><tr><th></th><th>(1)</th><th>(2)</th><th>(3)</th><th>(4)</th></tr></thead><tbody><tr><td>Gôut pour la lecture<br>(s.e)<br>R<sup>2</sup></td><td>+0,259<br>(0,365)<br>0,009</td><td>+0,299**<br>(0,120)<br>0,010</td><td>+0,280**<br>(0,116)<br>0,0731</td><td>+0,362***<br>(0,118)<br>0,1251</td></tr><tr><td>Pratique de la lecture<br>(s.e)<br>R<sup>2</sup></td><td>-0,097<br>(0,416)<br>0,005</td><td>-0,083<br>(0,170)<br>0,016</td><td>+0,057<br>(0,171)<br>0,0398</td><td>+0,069<br>(0,174)<br>0,0719</td></tr><tr><td>Connaissances titres<br>(s.e)<br>R<sup>2</sup></td><td>0,257<br>(0,228)<br>0,112</td><td>+0,307***<br>(0,092)<br>0,195</td><td>+0,283***<br>(0,091)<br>0,2296</td><td>+0,302***<br>(0,094)<br>0,2538</td></tr><tr><td>Connaissances auteurs<br>(s.e)<br>R<sup>2</sup></td><td>0,212<br>(0,144)<br>0,072</td><td>+0,245***<br>(0,053)<br>0,148</td><td>+0,255***<br>(0,053)<br>0,1803</td><td>+0,250***<br>(0,055)<br>0,2083</td></tr><tr><td>Lecture vs Télévision<br>(s.e)<br>R<sup>2</sup></td><td>+0,681<br>(0,485)<br>0,007</td><td>+0,096<br>(0,202)<br>0,013</td><td>+0,070<br>(0,203)<br>0,0321</td><td>+0,052<br>(0,212)<br>0,0688</td></tr><tr><td>Présence de variables de contrôle</td><td></td><td></td><td></td><td></td></tr><tr><td>-Temps</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Niveau</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Ecoles</td><td>Non</td><td>Non</td><td>Oui</td><td>Oui</td></tr><tr><td>-Caractéristiques individuelles</td><td>Non</td><td>Non</td><td>Non</td><td>Oui</td></tr></tbody></table>

## 4.4 Impact sur les attitudes scolaires et la vie de la classe

L'évolution du rapport à la lecture est estimée à travers 5 indicateurs et les résultats sont résumés dans le tableau 12.

Les résultats montrent que l'impact est contrasté : pas d'impact significatif pour la Prise de parole et la Discussion de livre en classe, un impact positif pour le Goût pour le travail collectif et pour le score d'Autoévaluation et un impact négatif pour le Travail collectif réalisé en classe. Pour ce dernier indicateur, cette évolution négative peut s'expliquer par le contraste perçu par les élèves après l'Action lecture, entre leur vie de classe normale et la période vécue pendant l'Action Lecture. Néanmoins, cela signifie qu'il n'y a pas eu de changement de pratique au niveau du travail collectif après les Actions Lecture.

# 5 Analyse coût - efficacité des Actions Lecture

Les Actions Lecture ont un impact positif, mais ces impacts sont-ils suffisants pour justifier les moyens qui sont alloués aux Actions Lecture ? L'Académie a délégué des enseignants auprès du Centre Paris Lecture. Ces postes pourraient être réalloués pour d'autres actions pédagogiques. Tout simplement par exemple, les enseignants pourraient reprendre une classe ce qui contribuerait à réduire la taille des classes et aurait ainsi une efficacité si l'on se réfère aux estimations statistiques de T Piketty
<table><caption>TABLE 12 – Estimation de l'impact sur l'attitude scolaire et la vie de la classe</caption><thead><tr><th></th><th>(1)</th><th>(2)</th><th>(3)</th><th>(4)</th></tr></thead><tbody><tr><td>Autoévaluation<br>(s.e)<br>R<sup>2</sup></td><td>+0,462<br>(0,421)<br>0,0055</td><td>+0,243<br>(0,175)<br>0,0055</td><td>+0,257<br>(0,172)<br>0,0537</td><td>+0,311*<br>(0,178)<br>0,1156</td></tr><tr><td>Goût travail collectif<br>(s.e)<br>R<sup>2</sup></td><td>-0,018<br>(0,083)<br>0,0330</td><td>+0,090***<br>(0,033)<br>0,0425</td><td>+0,410***<br>(0,165)<br>0,0604</td><td>+0,410***<br>(0,170)<br>0,0861</td></tr><tr><td>Travail collectif<br>(s.e)<br>R<sup>2</sup></td><td>-0,009<br>(0,088)<br>0,0525</td><td>-0,055<br>(0,046)<br>0,0550</td><td>-0,400*<br>(0,225)<br>0,1325</td><td>-0,430*<br>(0,235)<br>0,1485</td></tr><tr><td>Prise de parole<br>(s.e)<br>R<sup>2</sup></td><td>+0,510<br>(0,570)<br>0,0125</td><td>-0,024<br>(0,195)<br>0,024</td><td>-0,125<br>(0,201)<br>0,0644</td><td>+0,050<br>(0,216)<br>0,0919</td></tr><tr><td>Discussion livre<br>(s.e)<br>R<sup>2</sup></td><td>-0,027<br>(0,228)<br>0,0045</td><td>+0,012<br>(0,087)<br>0,0071</td><td>+0,060<br>(0,430)<br>0,0478</td><td>+0,040<br>(0,450)<br>0,0732</td></tr><tr><td>Présence de variables de contrôle</td><td></td><td></td><td></td><td></td></tr><tr><td>-Temps</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Niveau</td><td>Non</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>-Ecoles</td><td>Non</td><td>Non</td><td>Oui</td><td>Oui</td></tr><tr><td>-Caractéristiques individuelles</td><td>Non</td><td>Non</td><td>Non</td><td>Oui</td></tr></tbody></table>

et M Valdenaire dans leur rapport de 2006 publié par la DEP<fnref n="5" />. En suivant le panel primaire 1997 (élèves entrés au CP en 1997), ces auteurs ont estimé l'effet de la taille de classe sur la réussite aux résultats d'évaluation nationale de CE2. Un enfant de plus dans une classe de CE1 conduit à observer une diminution de 0,339 point aux évaluations de français à la rentrée CE2 suivante, évaluations CE2 qui étaient notées sur 100. Dans ces évaluations nationales de français, les trois compétences étudiées dans cette étude compte pour 10% de la note et par conséquent les résultats agrégés mesurés par un score sur 10 sont bien exprimés dans la même unité de mesure.

L'idée est donc de comparer l'impact des Actions Lecture à celui de l'effet potentiel d'une réduction de la taille de classe permise par le redéploiement des enseignants délégués auprès du Centre Paris Lecture. Pour cela, nous faisons l'hypothèse que l'estimation Piketty et Valdenaire pour le CE1 vaut également pour les autres niveaux qui nous concernent, à savoir les CE2, CM1 et CM2. On ne dispose malheureusement pas telles estimations qui auraient nécessité d'utiliser les évaluations de 6ème. Soulignons toutefois deux points qui montrent que cette hypothèse est fondée. D'une part, en utilisant le panel secondaire 1995 les auteurs obtiennent une estimation de l'effet taille de classe au collège de l'ordre de 0,2 pt (mesuré en termes de résultats au brevet noté sur 100). D'autre part, l'écart type observé dans les différents panels

<footnote n="5">5. Cf. T. Piketty et M. Valdenaire (page 54) "L'impact de la taille de classe sur la réussite scolaire dans les écoles et lycées français", N.173 (Mars 2006) Les dossiers Enseignement scolaire. http://www.jourdan.ens.fr/piketty/fichiers/public/PikettyValdenaire2006.pdf</footnote>
pour les résultats de CE2, de 6ème et de brevet sont à peu près similaires, avec une valeur comprise entre 15 et 20. Ce sont d'ailleurs des valeurs comparables aux écarts types pour les évaluations de CE2 et de 6ème observés par la DEP dans les années 2000. A titre de comparaison, l'écart type pour les résultats agrégés dans l'étude présente notés sur 10 sont compris entre 1,8 à 2 selon les niveaux, soit une valeur du même ordre étant donné le facteur 10 d'écart. Il y a donc une homogénéité de mesure dans ces différentes évaluations et les estimations de l'effet taille de classe sont cohérentes.

Quel serait l'effet d'une réduction de la taille de classe obtenue par le redéploiement des enseignants délégués auprès du Centre Paris Lecture ? Pour ce calcul, les données sont les suivantes :

- les Actions Lecture dans les 6 écoles observées ont concerné au total 37 classes,

- pour 5 de ces Actions Lecture, 2 enseignants sont intervenus et pour la dernière, seulement 1 enseignant pour un total de 11 interventions d'enseignant,

- chaque enseignant de Paris Lecture est intervenu dans 9 Actions Lecture au cours de l'année 2007/2008,

- ces 6 Actions Lecture ont donc coûté l'équivalent de 11/9 de poste enseignant,

- notre enquête a porté sur 22 classes au sein de ces écoles avec une moyenne de 24,77 élèves par classe,

- par un redéploiement des enseignants des Actions Lecture, ces 22 classes avaient pu bénéficier de (11/9)*(22/37)= 0,73 enseignant supplémentaire (supplément très théorique!) et la moyenne d'élèves par classe passer à 23,98 soit une diminution de 0,8 élève par classe.

Dans le tableau suivant, nous donnons un résumé des différents impacts obtenus. Nous avons calculé une valeur de progression moyenne par année en utilisant la valeur du coefficient de régression de la variable de temps dans le modèle (4).

<table><caption>TABLE 13 – Impact sur les résultats d'évaluation</caption><thead><tr><th>Effet taille de classe<br>en CE1<br>(Piketty- Valdenaire)</th><th>Effet<br>redéploiement<br>des enseignants</th><th>Impact<br>Action Lecture</th><th>Progression<br>moyenne<br>par année</th></tr></thead><tbody><tr><td>+0,339</td><td>+0,271</td><td>+0,383</td><td>+0,949</td></tr></tbody></table>

En remettant les enseignants des Actions Lecture devant une classe, l'impact serait de 0,8*0,339 = 0,271 pt supplémentaire sur 100 en termes de résultats aux évaluations. L'impact des Action lecture est de 0,383 pt sur 10 points seulement. Le ratio coût-efficacité est donc favorable aux Actions Lecture. Ce résultat est valable sous l'hypothèse que par ailleurs, les 2 semaines d'Action Lecture n'ont pas eue d'impact négatif sur d'autres aspects. Par exemple, n'ayant pas fait de mathématiques pendant ces 2 semaines, il est possible que les élèves n'aient pas autant progressé qu'avec un enseignement traditionnel. Nos données ne permettent pas de répondre mais notons toutefois que l'impact mesuré sur ces seules trois compétences était considérable, puisque l'impact représente 40% de la progression moyenne annuelle des élèves sur les trois compétences étudiées.
# 6 Discussion

Selon les résultats de cette évaluation, les Actions Lecture sont globalement efficaces par rapport aux objectifs qui leur sont assignés. L'impact est particulièrement positif sur l'attitude par rapport à la lecture, important pour les compétences scolaires étudiées, mais il paraît plus réduit sur les attitudes des élèves en classe. Quant à la vie de la classe, elle ne semble pas avoir évoluée à la suite des Actions lecture. En utilisant les résultats de Piketty et Valdenaire (2006) sur l'effet de la taille de classe, nous avons comparé l'efficacité des Actions Lecture par rapport à une action de réduction de la taille de classe : le ratio coût - efficacité des Actions Lecture est favorable et de ce point de vue, les postes consacrés à ces Actions Lecture ne devraient pas être remis en cause.

A l'heure où l'Union Européenne constate (Rapport de la commission 2009) une dégradation des compétences des jeunes de 15 ans en lecture et observe que les objectifs de Lisbonne sur ce point ne seront pas atteints, il paraît naturel de s'interroger sur un développement de ce programme Action Lecture si celui-ci est efficace. Ceci pose la question des conditions de transfert d'une telle évaluation et soulève plusieurs points. L'impact positif mesuré l'a été sur des écoles volontaires pour mener une Action Lecture. Peu d'écoles déposant un projet sont refusées par manque de moyens disponibles. Par conséquent, le développement des Action Lecture supposerait de solliciter activement des écoles pour qu'elles se portent volontaires. A priori, on ne sait pas si l'impact serait positif pour des écoles non spontanément volontaires.

On peut aussi se poser la question du caractère particulier éventuel des Actions Lecture observées dans cette étude. Chaque Action Lecture aborde un thème qui lui est propre et on a peut-être eu la chance d'observer des thèmes à succès ou d'observer une équipe d'enseignants de Paris Lecture particulièrement performants. Or les résultats d'une régression (non reportée dans le texte) où introduit des variables croisées avec les écoles pour estimer un impact spécifique à chacune des écoles conduit à des coefficients qui sont statistiquement non différents. Au delà de ces éléments statistiques, nous indiquions dans la section 2 qu'il existait une certaine standardisation des Actions Lecture définie par le directeur du centre Paris Lecture et le groupe de travail académique en charge.

Nous conclurons sur des aspects méthodologiques. Pour cette évaluation, nous avons proposé une analyse coût-efficacité en profitant de l'opportunité offerte par l'existence des résultats sur l'effet de la taille de classe de Piketty et Valdenaire (2006). Exprimés en termes de résultats aux évaluations nationales, ceux-ci donnent un point de comparaison selon une mesure, celles des résultats évaluations nationales, que l'on peut espérer assez représentative des objectifs scolaires. Certes, la question de la bonne mesure du niveau scolaire est sujette à débat et la communauté enseignante est relativement critique sur le contenu des évaluations nationales, mais ces résultats ont l'avantage d'exister, ce qui n'est pas négligeable. Dans cette évaluation, nous ne nous en tenons pas à ce seul indicateur. Celui des attitudes par rapport à la lecture est d'une nature très différente et néanmoins, il y a une grande cohérence entre l'impact positif observé en matière de lecture et en termes de résultats aux évaluations nationales. Si de telles études étaient menées, s'en tenir
aux seuls résultats d'évaluations nationales serait sans doute trop restrictif et il serait intéressant de les compléter par une batterie d'indicateurs pour confirmer que l'efficacité est observée sur plusieurs indicateurs.

Références

BERTRAND M., DUFLO E., MULLAINATHAN S. [2004], ”How much should we
trust differences-in-differences estimates”, *Quarterly Journal of Economics*,
119(1) :249-275.

DUFLO E., KREMER M., GLENNERSTER R. [2008], ”Using randomization in development economics research : A toolkit”, In J.Strauss and P.Schultz, editors, *Handbook of Development Economics*, vol. 4, 3895-3962. Elsevier-North Holland.

IMBENS G.W., WOOLDRIDGE, J.M. [2009], ”Recent developments in the eco-
nometrics of program evaluation”, *Journal of Economic Literature*, 47 :5-86.

LEVIN H. [2001], ”Waiting for Godot : Cost-effectiveness analysis in education”,
*New direction for evaluation*, 90 :55-68.

Commission of the E.U. [2009] "Progress towards the Lisbon objectives in education and training", *Commission staff working document*.

PIKETTY T., VALDENAIRE M. [2006], ”L’impact de la taille des classes sur la réussite scolaire dans les écoles, collèges et lycées français : Estimations á partir du panel primaire 1997 et du panel secondaire 1995”, *Paris : Ministère de l’éducation nationale, Les Dossiers n.173*, 1-153.

REUTER Y. [2007], *Une école Freinet : Fonctionnements et effets d'une pédagogie alternative en milieu populaire*, L'Harmattan.