# Mesure et évaluation en éducation

## Le palmarès des écoles secondaires en question

Jean-Guy Blais, François Larose, Michel Laurier, Claude Lessard, Christian Rousseau, Philippe Dupuis and Jean-Pierre Proulx

MESURE

et
ÉVALUATION
en Éducation

<figure><img src="image_1.png" /></figure>

Volume 22, Number 1, 1999

URI: https://id.erudit.org/iderudit/1091269ar

DOI: https://doi.org/10.7202/1091269ar

See table of contents

Publisher(s)

ADMEE-Canada - Université Laval

ISSN

0823-3993 (print)

2368-2000 (digital)

Explore this journal

Cite this article

Blais, J.-G., Larose, F., Laurier, M., Lessard, C., Rousseau, C., Dupuis, P. & Proulx, J.-P. (1999). Le palmarès des écoles secondaires en question. *Mesure et évaluation en éducation, 22*(1), 1-20. https://doi.org/10.7202/1091269ar

Article abstract

This paper's main focus is a critical analysis of a study on Québec's secondary schools published in October 2000. Actually, the main results of this study is the ranking of 474 schools. The critical analysis is based on three points : the ideological standpoint, the conceptual framework and the methodology, the dissemination strategy. We conclude that the study is deficient conceptually and methodologically, and that its purpose is not really school improvement.
# Le palmarès des écoles secondaires en question

Jean-Guy Blais¹, François Larose¹, Michel Laurier¹, Claude Lessard¹, Christian Rousseau, Philippe Dupuis et Jean-Pierre Proulx¹

**MOTS-CLÉS:** Évaluation, écoles, classement, tests standardisés

Essentiellement, ce texte constitue une critique d'une étude sur les écoles secondaires du Québec, publiée à l'automne 2000. Dans les faits, cette étude abouti à une mise en rangs sommaire de 474 écoles. La critique porte principalement sur trois points: la dimension idéologique du document, la problématique et la méthode, la stratégie de diffusion des résultats. Nous concluons que l'étude est déficiente tant du point de vue du cadre conceptuel que des aspects reliés à la mesure et qu'elle sert d'autres objectifs que l'amélioration de l'école.

**KEY WORDS:** Assessment, schools, ranking, standardized tests

This paper's main focus is a critical analysis of a study on Québec's secondary schools published in October 2000. Actually, the main results of this study is the ranking of 474 schools. The critical analysis is based on three points: the ideological standpoint, the conceptual framework and the methodology, the dissemination strategy. We conclude that the study is deficient conceptually and methodologically, and that its purpose is not really school improvement.

## Préambule

Le matin du vendredi 27 octobre 2000, l'Institut économique de Montréal (IEDM) et le Fraser Institute (FI) de Vancouver procédait au lancement d'une étude réalisée par MM. Peter Cowley, du FI et Richard Marceau, de l'École nationale d'administration publique, s'intitulant «Bulletin des écoles secondaires du Québec». Il s'agit principalement d'une analyse des différences qui existent entre les écoles quant aux résultats de leurs élèves de la quatrième et de la cinquième année du secondaire à certaines épreuves uniformes du ministère de l'Éducation. La prétention du bulletin est de fournir «une mesure indépendante de la performance annuelle de chaque école face aux
besoins fondamentaux» [...] des élèves, des parents et de la société (Cowley & Marceau 2000, p. 3). La présentation de l'étude a été accompagnée de la publication par le magazine *L'Actualité* du classement et des cotes des écoles pour les années 1998-1999 et 1995-1999.

L'IEDM, organisme financé par le secteur privé, a commandité l'étude. D'après l'information qui nous a été transmise, l'IEDM a offert gratuitement l'étude au magazine *L'Actualité* qui l'a acceptée après une réunion de l'équipe éditoriale. L'étude, qui semble être la propriété du FI si on se fie au *copyright*, a été écrite en anglais puis traduite en français. De fait, l'étude ressemble beaucoup aux études publiées par le FI sur les écoles de la Colombie-Britannique – tellement qu'on retrouve, dans les justifications sur les variables retenues aux fins de la démonstration, des passages de texte identiques à quelques nuances de traduction près, mais sans que la référence ne soit mentionnée.

On peut observer que dans ces autres études du FI, les variables ne sont pas exactement les mêmes que les variables retenues pour le palmarès québécois. Il y aurait donc plusieurs façons de classer les écoles? Une pour la Colombie-Britannique, une pour l'Alberta et une autre pour le Québec? Quelle est la bonne? Quelles sont les variables les plus pertinentes pour réaliser cet exercice? Est-ce qu'il y a de meilleures façons que d'autres pour classer les écoles secondaires du Québec sur un continuum unique de rangs de 1 à 474?

Simultanément à ces questions qui peuvent, à la limite, ne constituer qu'un exercice méthodologique de plus, on peut aussi se demander si cet exercice n'est tout simplement qu'une espèce d'écran de fumée qui simplifie abusivement une réalité complexe et oriente subtilement le regard porté sur la situation.

Nous voulons préciser d'entrée de jeu que nous ne désirons pas remettre en question dans les lignes qui suivent, l'importance pour tout système éducatif de s'évaluer et d'être évalué. Bien au contraire, nous estimons que les mécanismes d'évaluation sont essentiels pour assurer que les services offerts soient de la meilleure qualité possible et correspondent aux besoins de la collectivité. Ce que nous remettons en question ici a trait d'abord aux *a priori* idéologiques des commanditaires et des auteurs de l'étude, ensuite à la méthode de l'étude et, finalement, à la façon d'en rapporter les résultats.
# Les a priori idéologiques de l'étude

## Tests standardisés et qualité de l'école

Les auteurs Cowley et Marceau ont choisi de privilégier un type particulier d'indicateurs pour leur étude. Ils ont choisi des indicateurs d'extrant (ou *output*, ce qu'on retrouve à la sortie du système), directement associés aux élèves, c'est-à-dire les résultats à des épreuves uniformes du ministère de l'Éducation du Québec (en fait, ils ont opté pour la moyenne de l'école). Pourtant, depuis les cinquante dernières années, les observateurs de l'éducation ont plutôt eu l'habitude de considérer la qualité de l'école non pas uniquement par rapport aux scores à des tests ou aux taux de réussite à des épreuves uniformes, mais aussi en relation avec les ressources et les conditions contextuelles (Madaus & Raczek, 1996). Dans cette perspective, la qualité perçue d'une école était reliée à son taux de financement, à la qualité de ses installations, aux caractéristiques des enseignants et du personnel de direction, aux caractéristiques sociales, démographiques ou économiques des élèves et de leurs parents, et aux résultats aux évaluations internes menées par les enseignants. Mais, depuis une bonne vingtaine d'années, dans certaines parties du monde, l'approche pour apprécier la qualité de l'école a changé.

Aux États-Unis, par exemple, après la publication du rapport Coleman (Coleman et al., 1966) les préoccupations au sujet de la qualité de l'école se sont ainsi réorientées lentement mais sûrement vers des indicateurs d'extrant. L'appréciation de la qualité des écoles et du système est de plus en plus centrée sur l'appréciation des résultats à des tests standardisés qui sont administrés par des entités externes à l'école; on apprécie plus la qualité en fonction d'extrants qu'en rapport avec des intrants (ou *input*), processus ou contexte. Les résultats aux tests standardisés sont utilisés pour prendre des décisions dans un très grand nombre de situations: la certification ou la recertification des enseignants, la promotion des élèves d'une année à l'autre, l'octroi du diplôme de fin d'études secondaires, le placement des élèves dans des groupes spéciaux, la distribution des ressources aux écoles et aux districts scolaires, le salaire des enseignants au mérite sur la base des résultats des élèves (en place dans une quinzaine d'États, dont la Californie – voir *Education Analyst*, automne 2000), la certification des écoles, celles-ci pouvant même être fermées ou mises en tutelle à la suite d'une série de mauvais résultats de la part des élèves (c'est aussi le cas en Angleterre). Aux États-Unis, selon Haney, Madaus et Lyons (1993), chaque élève du primaire et du
secondaire passe entre trois et neuf tests standardisés par année. Les résultats aux tests constituent ainsi des données sur lesquelles reposent un nombre de plus en plus grand de décisions «éducatives». Dans ce contexte, il n’est pas étonnant de noter que de plus en plus d’observateurs de l’éducation (gestionnaires, mais aussi employeurs et parents) se fient aux résultats à des tests standardisés pour porter un jugement sur la qualité de l’école.

Le recours aux résultats des élèves à des tests standardisés pour effectuer le choix d'une école sert bien, en principe, une approche de la prise de décision de type consumériste (approche soutenue par les auteurs Cowley et Marceau et les commanditaires IEDM et FI). Cette approche suppose aussi que le client effectuera un choix en fonction du rapport qualité/prix. Cependant, la logique de la perspective consumériste suppose d'abord et avant tout que le consommateur dispose d'une information adéquate pour réaliser le choix du «produit» qui lui convient en fonction du prix affiché. Elle suppose que les comparaisons effectuées par le consommateur se font sur la base d'une information possédant un degré raisonnable de précision et de validité en fonction de la décision à prendre.

Dans cette logique consumériste, on retrouve en filigrane la préoccupation des cinquante dernières années du système industriel international, celle d'une production de qualité à un prix concurrentiel. Les auteurs Cowley et Marceau recommandent ainsi l'application à l'éducation d'une méthode de contrôle de la qualité qui repose sur les travaux de Juran (1989) et qu'ils appellent la «spirale de la qualité» (Cowley & Marceau, 2000, p. 3). Il faut bien noter que dans cette perspective, le contrôle de qualité exige d'abord et avant tout une prise de mesure continue (Deming, 1982). Sans mesure continue, le contrôle sur le mécanisme de production est limité. Mais cette mesure doit être précise et pertinente à la prise de décision, sinon le contrôle de la qualité se fera à l'aveuglette. En éducation, on peut se demander si c'est la situation qui prévaut lorsqu'on se base uniquement sur les résultats aux tests standardisés ou aux épreuves uniformes de fin de cycle.

La fonction de contrôle correspond assez bien au rôle que l'on veut faire jouer depuis une vingtaine d'années aux tests standardisés dans les systèmes d'éducation de masse (Madaus, 1993). Les résultats aux tests fournissent l'information nécessaire aux prises de décision sur le processus de production (on désire produire des élèves compétents) et ils agissent comme des outils de contrôle du système en attribuant des caractéristiques normatives à ceux qui les subissent.
Dans une situation de libre choix de l'école, les tests standardisés peuvent alors être utilisés pour produire un type particulier de données sur l'école et ces données servent à orienter les choix des personnes qui sont à la recherche d'une information susceptible de les guider dans des décisions difficiles, comme le choix d'une école pour un enfant. Cependant, on peut se demander si un mécanisme de contrôle de qualité qui s'appuie sur des projections de vérification inspirées de la production industrielle, une production atomisée dans une multitude de composantes simples, est approprié pour une situation aussi complexe que celle de l'école et de l'évaluation que l'on peut en faire à partir de résultats à des tests standardisés.

## Marché ouvert et qualité de l'école

On doit aussi se demander si une organisation sociale de l'école basée sur une approche consumériste contribue réellement à améliorer le système d'éducation dans son ensemble et la société dans son ensemble. Autrement dit, l'adoption d'une politique de libre marché en éducation a-t-elle des conséquences positives sur le système d'éducation et contribue-t-elle à en rehausser la qualité? Les États-Unis constituent un excellent cas d'espèce en la matière, mais on peut également mentionner la Nouvelle-Zélande et le Chili (Carnoy, 2000), ainsi que la province de Victoria en Australie. En résumé, on peut dire que le marché plus libre de l'école dans ces pays n'a guère favorisé le rehaussement général des compétences des élèves.

On peut en effet étudier le lien qu'il y a entre la variable «performance globale» du système d'éducation et la variable «ouverture de l'éducation à une économie de marché». Par exemple, les États-Unis sont classés dans le peloton de tête des pays où les marchés sont les plus ouverts en général (voir le site www.freetheworld.com), mais aussi en ce qui a trait au marché de l'école (voir à ce sujet les échanges entre Carnoy, 2000, et Goldhaber, 1999, 2000). Pourtant, dans toutes les grandes enquêtes internationales, les États-Unis terminent dans la moitié inférieure des classements scolaires, plutôt loin des pays qui occupent la tête. On peut ainsi faire le constat, partiel évidemment, que la libéralisation des marchés en éducation aux États-Unis n'a même pas pour conséquence une amélioration globale des résultats à des tests standardisés. De plus, on note à ce sujet que les enjeux des enquêtes internationales ne sont pas critiques, car ces dernières n'ont pas d'impact direct sur les personnes. Les résultats observés sont donc plus «précis», moins contaminés que lors des tests de fin d'année où on retrouve des effets tels ceux de l'entraînement intensif des élèves et de l'enseignement ciblé en fonction du contenu présumé des tests (voir à ce sujet Blais, 2000).
En fait, la principale conséquence du choix d'une école en fonction des résultats des élèves à des tests standardisés serait plutôt une stratification de l'école selon les revenus et la classe sociale (Carnoy, 2000; Lauder & Hughes, 1999). Il y a des écoles où on retrouve une grande concentration d'élèves issus de milieux favorisés et des écoles pour les autres élèves. Il y a aussi des écoles où on retrouve une grande concentration d'élèves de milieux défavorisés. On retrouve même une stratification à l'intérieur des classes défavorisées où les parents avec un niveau de scolarité plus élevé ont tendance à se regrouper dans les mêmes écoles (Carnoy, 2000). On crée alors des écoles «homogènes» où les élèves se ressemblent par leurs caractéristiques sociodémographiques et obtiennent des résultats semblables aux tests standardisés. Il y a même des dangers pour que des écoles réellement efficaces soient peu à peu désertées au profit d'écoles homogènes quant aux aspirations sociales des parents et quant aux résultats observés aux tests standardisés (Carnoy, 2000).

Il n'est pas nécessaire de singulariser les États-Unis pour illustrer notre propos. Un bref regard sur les données utilisées par les chercheurs Cowley et Marceau est assez révélateur. La moyenne de revenus des parents des élèves des vingt dernières écoles du palmarès pour la région de Montréal est de 34000$. La moyenne de revenus pour les vingt premières écoles est de 66000$, le double du montant précédent. On ne s'étonnera pas que dans les vingt premières écoles, il y en ait dix-huit qui appartiennent au secteur privé.

## La méthode

### Le cadre conceptuel de l'étude

M. Marceau affirmait, dans un livre publié en 1989: «[...] il faut soulagner la presque unanimité avec laquelle les études confirment l'importance de l'arrière-plan familial de l'élève dans sa réussite scolaire. Quelle que soit la mesure de performance retenue, on découvre invariablement que les enfants des parents scolarisés et fortunés ont un meilleur rendement que les autres.» (Migué & Marceau, 1989).

On peut s'étonner que, malgré l'analyse statistique effectuée, les auteurs attribuent aujourd'hui dans leur rapport une importance marginale à ces caractéristiques qui apparaissaient pourtant, en 1989, être les variables les plus déterminantes du rendement scolaire. Il nous semble, au contraire, qu'une combinaison de variables comme la taille de l'école, la distinction public/privé et le revenu des parents, qui expliquent 40% de la variable
dépendante, est une combinaison typique de caractéristiques sociales, démographiques, géographiques et économiques. Ces résultats, quoi qu’en disent les auteurs, iraient donc dans le sens des travaux récents sur le sujet. En effet, Sutton et Soderstrom (1999) affirment : « Les résultats d’une école sont plus reliés aux caractéristiques démographiques et socio-économiques qu’à son efficacité. » La différence d’interprétation réside peut-être dans le fait que les auteurs Cowley et Marceau tiennent absolument à ce que la taille de l’école et la distinction public/privé soient associées aux facteurs organisationnels de l’école plutôt qu’aux caractéristiques démographiques, économiques, géographiques ou sociales des élèves et des écoles. Il semble y avoir un parti pris en faveur d’une position où l’organisation et la gestion sont les dimensions déterminantes de l’efficacité de l’école. Puisqu’on résume la distinction privé/public à une différence d’organisation, les écoles privées seraient supérieures parce qu’elles seraient mieux organisées, pas parce qu’elles sélectionnent les « meilleurs » élèves.

Les auteurs tiennent d’ailleurs tellement à cette idée que M. Marceau insiste sur cette interprétation dans une lettre ouverte publiée dans un grand quotidien : « La conclusion, en harmonie avec les récentes recherches, renverse les idées reçues : l’école compte plus que les soi-disant déterminants socio-économiques. Que l’école importe plus que les conditions socio-économiques, voilà donc le message le plus puissant. » (La Presse, 11 novembre 2000, p. A19, souligné ajouté.)

S’il y a d’autres études publiées depuis 1989 qui permettraient aux auteurs d’appuyer cette affirmation à l’effet que les caractéristiques socio-économiques des élèves ont un impact marginal sur la réussite et que ce sont des caractéristiques organisationnelles de l’école qui sont importantes, nous aurions aimé savoir lesquelles. Il serait en effet fort intéressant d’en savoir un peu plus long sur la base de connaissances qui amène les auteurs à soutenir ces affirmations. Malheureusement, le document de Cowley et Marceau est muet sur le sujet.

Il y a pourtant plusieurs travaux de recherche qui ont permis de mieux comprendre les résultats scolaires des élèves et de mieux comprendre les écoles dites « efficaces » (voir à ce sujet Scheerens, 1992, et Lessard, 2000). D’après ces travaux, ce ne sont pas les caractéristiques organisationnelles qui semblent les plus déterminantes. Ainsi, on pourrait découvrir que les variables les plus importantes sont celles qui concernent l’élève lui-même. En effet, si une école sélectionne ses élèves en utilisant des critères fortement reliés aux
résultats aux épreuves uniformes du Ministère, il ne faut pas s'étonner qu'en fin de parcours, les élèves de ces mêmes écoles aient des résultats élevés aux épreuves du Ministère. Et c'est sans compter le phénomène d'écrémage qui permet aux écoles privées de ne garder que ceux qui réussissent adéquatement.

On pourrait aussi découvrir qu'une autre des variables importantes est celle que l'on décrit sous le vocable «opportunités d'apprentissage» (McLean, 1996). Cette variable pose la question du curriculum réellement enseigné et du curriculum officiel. Ainsi, on peut se demander si le retard d'une classe par rapport au curriculum officiel, le curriculum qui est l'objet des épreuves uniformes, survient dans les classes (ou les écoles) où les élèves ont des caractéristiques sociodémographiques, affectives ou cognitives semblables.

Parmi les autres variables importantes associées à l'école efficace (Scheerens, 1992, p. 84), on retrouve l'enseignement structuré et le temps adéquatement consacré à l'apprentissage (*effective learning time*). D'autres variables, tels «les stimuli externes pour rendre l'école plus efficace», n'ont, par contre, aucun lien avec l'efficacité de l'école (Scheerens, 1992 p. 84). L'utilisation des résultats à des tests standardisés pour déterminer les bonnes et moins bonnes écoles fait partie de ces stimuli externes. Peut-être que les auteurs Cowley et Marceau auraient eu avantage à consulter la documentation sur le sujet. L'OCDE, notamment, a produit plusieurs recherches sur la question depuis une dizaine d'années.

Par ailleurs, la documentation scientifique portant sur le risque de mésadaptation sociale et scolaire ainsi que d'échec et de désertion scolaire précoce est claire sur un point. Les indicateurs économiques (revenu familial brut, revenu et stabilité d'emploi du père ou de la mère) ne forment qu'une composante des facteurs de risque ou de protection au regard de l'adaptation, de la mésadaptation ainsi que du rendement scolaire. Pris de façon isolée, leur qualité de «prédicteur statistique» est faible. Toutes les études nord-américaines en la matière soulignent la faible valeur prédictive d'un indice unique et la nécessité de recourir à des mesures multivariées intégrant, par exemple, la scolarité de la mère ou du père, le type de pratiques parentales, la représentation parentale de la scolarisation en tant qu'instrument de mobilité sociale, etc. (Terrise, Larose et Lefebvre, 1998, 2000). À revenu parental égal, les enfants ayant des parents exerçant un métier où le contrôle ou encore l'accès à l'information et à la connaissance est stratégique tendent à mieux réussir que leurs pairs. Sachant cela, est-il surprenant que certaines écoles
publiques desservant des quartiers à forte concentration d'enfants provenant
de familles dont les parents sont fortement scolarisés et exercent des fonctions
fondées sur le travail intellectuel se classent elles aussi dans le peloton de tête
aux côtés de collèges privés «prestigieux»?

L'approche quantitative privilégiée

Les auteurs nous proposent un exercice métrologique pour classer les écoles et un exercice statistique pour montrer que le niveau socio-économique a peu d'impact sur les résultats. Ces deux exercices sont, somme toute assez rudimentaires. Il s'agit aussi de deux exercices parmi tant d'autres possibles sur le sujet. De plus, il est clair que cette étude se concentre sur les résultats scolaires et ne s'intéresse pas à des indicateurs reliés au processus, c'est-à-dire à ce qui se passe effectivement dans les écoles si ce n'est que pour fournir des explications accessoires.

La fabrication d'une mesure

Comme dans beaucoup d'études du genre, les auteurs de l'étude visent à
composer une cote numérique unique qui représente la position de chaque
école sur un continuum linéaire. Il s'agit d'une opération qui a comme objectif
de produire un indicateur auquel on désire attribuer les propriétés d'une
mesure. En fait, il s'agit d'une opération typique de fabrication d'une mesure
par fiat, c'est-à-dire par la volonté et les objectifs de ceux qui la produisent.
On retrouve souvent ce type de mesure publié dans les grands quotidiens, par
exemple pour classer les pays selon la qualité de la vie.

Les échelles numériques des variables retenues dans le calcul de la cote ont toutes été transformées sur une échelle numérique de zéro à dix. Ainsi, les scores aux épreuves uniformes du Ministère ont d'abord été centrés autour de la moyenne (des scores standardisés en fait), puis transformés une deuxième fois sur une échelle de zéro à dix. La cote finale, pour chaque année, est obtenue en utilisant une pondération arbitraire sur les variables retenues par Cowley et Marceau aux fins de l'étude québécoise. Étonnamment, la pondération n'a fait l'objet d'aucune justification technique ou conceptuelle.

Les valeurs pour la cote sont présentées avec une décimale, par exemple
7,3, ce qui permet d'obtenir 101 catégories/rangs/échelons. Cela permet aussi
de classer plus facilement les 474 écoles intégrées au palmarès. Cette appa-
rente précision à une décimale près est trompeuse. Une estimation, même
sommaire, des éléments constitutifs de l'erreur de mesure nous laisse croire
qu'il y a vraisemblablement moins de dix catégories/rangs/échelons légitimes
plutôt que 474 ou même 101. Il est ainsi passablement abusif de classer en rangs plus de 400 écoles à partir d'une telle cote. Le fait qu'elle soit calculée sur une ou plusieurs années ne change rien et ne lui confère pas une plus grande précision.

La variable dépendante, c'est-à-dire la cote (sur dix points) de chaque établissement, est composée de quatre éléments dont la pondération, nous l'avons mentionné, apparaît bien arbitraire. Premièrement, 50% de la cote est élaboré à partir des notes obtenues aux examens du Ministère dans les matières suivantes: langue d'enseignement (français ou anglais) en cinquième secondaire, langue seconde (anglais ou français) en cinquième secondaire, sciences physiques en quatrième secondaire et histoire du Canada et du Québec en quatrième secondaire. Deuxièmement, 30% de la cote provient du taux d'échec à ces mêmes examens du Ministère, ce qui devrait renforcer l'information précédente. Nous constatons donc que les chercheurs n'ont pas essayé de résoudre le problème des parcours différenciés en mathématiques pour intégrer cette matière de base au calcul de la cote. Rappelons aussi que les examens du Ministère comportent une erreur de mesure non négligeable et qu'ils fournissent un portrait partiel des apprentissages effectivement réalisés à l'école secondaire. C'est d'ailleurs en grande partie pour cette raison que la note de cinquième secondaire est la moyenne des résultats à l'examen du ministère et de l'évaluation fournie par l'école. Troisièmement, la cote tient compte de cette évaluation de l'école mais d'une manière étonnante. En effet, la cote augmente si l'évaluation de l'école est égale ou inférieure au résultat des examens du Ministère. C'est dire que pour que leurs évaluations soient acceptables, les enseignants ne devraient pas chercher à apporter une information complémentaire, mais devraient plutôt soumettre leurs élèves à des répliques, en plus difficile, des examens du Ministère. Cet élément saugrenu contribue à 10% de la cote. Finalement, un quatrième élément tout aussi contestable représente la dernière tranche de 10%: l'écart entre les filles et les garçons. Ce choix s'appuie sur une étude réalisée en Colombie-Britannique qui révélait que les enseignants semblaient renforcer davantage les apprentissages des filles que ceux des garçons. Les chercheurs supposent alors que les écoles qui éliminent l'écart entre garçons et filles méritent plus de points parce que ce sont celles qui fournissent le soutien pédagogique le plus efficace. Pourtant, le contraire pourrait être vrai puisque l'absence totale de soutien pédagogique pourrait aussi se traduire par un nivellement entre les sexes. Qui plus est, aucune étude ne permet de généraliser les conclusions obtenues en Colombie-Britannique à la situation québécoise.
Les chercheurs disent ne pas avoir pu intégrer à la cote le taux de
diplomation à la fin du secondaire, en alléguant que le ministère de l'Édu-
cation ne le produit pas pour les établissements privés. Quel qu'en soit le res-
ponsable, l'omission est de taille. En effet, il est toujours possible pour les
écoles privées de retourner les élèves vers le secteur public, lequel n'a d'autre
choix que de les prendre en charge. Les écoles privées peuvent alors
maintenir des moyennes élevées aux examens du Ministère en écrémant
leur clientèle. Il faut aussi rappeler que ces écoles, comme les écoles dites
« internationales », appliquent des mécanismes de sélection rigoureux qui, dès
le départ, leur permettent d'espérer de meilleures performances de la part de
leurs élèves aux examens du Ministère. Dans sa présentation de l'étude, la
journaliste de *L'Actualité*, Martine Turenne, concède que cet aspect est ignoré
et cite même deux professeurs de la Faculté des sciences de l'éducation de
l'Université de Montréal qui insistent pour dire qu'il est normal que les éta-
blissements privés se démarquent puisqu'il reçoivent les élèves les plus
« forts ». En ce sens, il ne suffirait pas que tous les parents décident d'envoyer
leur enfant à l'école privée pour améliorer la réussite scolaire dans l'ensemble
de la province. À aucun endroit, dans le rapport de l'Institut économique de
Montréal, on ne tient compte de ce biais majeur.

La prédiction de la cote

Ensuite, dans un second temps, les auteurs cherchent à expliquer cette
cote (la variable dépendante) par divers facteurs reliés soit aux caractéristiques
des établissements soit aux caractéristiques socio-économiques des familles
(les variables indépendantes). Ils utilisent donc une analyse statistique
multivariée – une analyse de régression multiple – pour essayer de préciser
parmi un ensemble de variables prédéterminées celles qui s'avèrent les
meilleures pour prédire la valeur de la cote telle que construite. Il est à noter
que c'est aussi une des limites importantes de l'étude. On tente d'expliquer
par des variables choisies arbitrairement une cote construite elle aussi de
manière arbitraire. D'autres variables permettraient-elles d'expliquer autre-
ment la cote? Une autre approche pour construire cette cote aurait-elle conduit
à des explications différentes? Puisque les auteurs ne se sont pas penchés sur
ces questions, on ne le sait pas. En fait, on constate qu'ils ne sont pas inté-
ressés à la robustesse conceptuelle et à la robustesse technique de leur stra-
tégie de production des mesures et à leur stratégie d'analyse statistique.
De plus, il est évident que si l'on avait tenu compte du fait qu'un
ETINGUT
L'ENTRÉE,
CETTE
VARIABLE
AURAIT
ETIÈRE
DÉTERMINANTE
DANS
L'exERCICE
DE
PRÉDICATION
DE
LA COTE.
LE
RAPPORT
DE
RECHERCHE
INDIQUE
QUE
LES
VARIABLES
INDÉPENDANTES
RETIENUES
EXPLIQUENT
39%
DE
LA
VARIATION
TOTALE
DE
LA
COTE.
COMME
LE
FAISAIT
REMARQUER
FORT
JUSTEMENT
MARIE-
ANDRÉE
CHOUINARD
DANS
SA
CHRONIQUE
DU
28
OCTOBRE
2000
AU
*Devoir*,
CE
RÉSULTAT
SIGNIFIE
QU'IЛ
RESTE
60%
DES
DifféRENCES
entre
LES
COTES
DES
ÉTABLIS-
SEMENTS
QU'ON
DOIT
ATTRIBUER
À
DES
ERREURS
D'ESTIMATION
OU
À
DES
DONNÉES
QUE
L'étude
NE
RÉussIT
PAS
À
QUANTIFIER,
MAIS
QUI
POURRAIENT
ÊTRE
NÉANMOINS
TRÈS
IMPORTANTES.
D'autre
PART,
IL
AURAIT
ÉTÉ
SOUHAITABLE
DE
TENIR
COMpte
D'autres
ÉLÉMENTS
CONTEXTUELS
DANS
L'analyse
EN
LES
INTÉGRANT
DANS
UNE
MODÉLISATION
PLUS
COMPLÈTE
(UNE
MODÉLISATION
«MULTINIVEAUS
PAR
EXEMPLE).

Mais quelles sont les variables qui ressortent comme de «bons» prédic-teurs de la cote ? L'étude montre l'effet déterminant de deux variables : le type d'établissement (privé ou public) et la taille de l'établissement. Le fait que les écoles qui accueillent moins d'élèves obtiennent de meilleurs résultats va dans le sens d'études menées dans d'autres systèmes scolaires. Le problème réside surtout dans ce qu'il faut inclure, dans la première variable, la distinction privée/public. Les défenseurs du classement ne se sont pas gênés pour dire que le succès du privé dépendait du mode de gestion, de la motivation de chacun, de l'atmosphère de l'école, etc., alors que l'on sait que ce qui fait d'abord le succès d'une école ce sont les élèves eux-mêmes. Il suffit de choisir les meilleurs et de leur offrir des occasions d'apprentissage à leur mesure ! D'autre part, la distinction privé/public recouvre en partie des différences socio-économiques. Les chercheurs rejettent l'hypothèse généralement acceptée que ces différences puissent jouer un rôle important, alors que leur propre rapport montre un lien non négligeable entre le revenu familial et le type d'établissement. Même en étant noyé dans la distinction privé/public, le facteur socio-économique compte pour 13% de la variation expliquée par le modèle. C'est tout de même le tiers de ce qu'on peut expliquer, même avec un modèle rudimentaire !

De fait, ce qu'il faut pour l'instant conclure de cet exercice métrologique
et statistique, c'est que les établissements de petite taille, qui sélectionnent
leurs élèves et qui ne se trouvent pas en milieu défavorisé, voient leurs finis-
sants mieux réussir à certaines épreuves uniformes du Ministère. On s'en
doutait un peu mais dans la situation actuelle, où la démocratisation de l'édu-
cation est un acquis qu'il importe, à notre avis, de sauvegarder et où l'on vise
la réussite pour le plus grand nombre, cela donne à réfléchir.
## Quelles données pour quels objectifs ?

Les auteurs ont décidé d'utiliser les données disponibles dans les dossiers du dernier recensement canadien et dans les dossiers du ministère de l'Éducation du Québec. Il faut dire à la décharge des auteurs et des commanditaires, que produire ses propres données coûte très cher et exige beaucoup de temps et de patience. En contrepartie, les données que l'on produit soi-même ont plus de pertinence parce qu'elles ont été produites en fonction des objectifs que l'on détermine et en fonction de la base de connaissances existante. Leurs assises conceptuelles ont ainsi un potentiel d'adéquation plus marquée que les démarches principalement empiriques et pragmatiques.

Prenons l'exemple des caractéristiques principales des données sur lesquelles repose toute la démonstration des auteurs. Ces sont les résultats aux épreuves uniformes du Ministère qui servent de base à l'analyse. À cet effet, celui-ci serait malvenu de critiquer ses propres outils de collecte d'information. Mais, quel est l'objectif de ces épreuves ? Est-ce qu'elles sont conçues pour obtenir des données sur les élèves, sur les écoles ou sur le système ?

En fait, ces épreuves sont des instruments de contrôle et leur rôle est celui d'outils techniques dans un système d'éducation de masse. Ils servent aussi à obtenir des données sur les apprentissages, mais l'information qu'ils livrent est souvent une information de surface. Par exemple, l'examen d'histoire 416 comprend 22 questions à réponse choisie qui comptent pour 76% de la note globale et huit questions qui demandent des réponses courtes et qui comptent pour le 24% restant. Les parents pourraient bien se demander à quels apprentissages seraient exposés leurs enfants si le seul objectif de l'enseignement du cours d'histoire 416 se réduisait à obtenir un bon résultat à une telle épreuve.

L'épreuve uniforme nous donne ainsi un portrait plus que limité des apprentissages réalisés par les élèves dans la salle de classe et encore moins à l'école. Ce sont les enseignants qui recueillent le plus d'information susceptible de bien renseigner les enfants et les parents. Pourtant, cette information est disqualifiée par les auteurs de l'étude. Les écoles dont les élèves obtiennent des notes internes plus élevées que les notes externes du Ministère sont pénalisées. Pourtant, les auteurs Cowley et Marceau expliquent bien que dans une « spirale de la qualité », c'est l'école qui mesure ses résultats et se compare à elle-même (p. 3). Ces données jugées essentielles dans le « cycle d'amélioration », (p. 3), sont par la suite disqualifiées par les auteurs, et cela sans aucune justification conceptuelle, empirique ou même technique.
On peut ajouter aussi qu’il est relativement facile d’augmenter à court terme les résultats à un test standardisé ou à une épreuve uniforme. En effet, si on cible son enseignement sur le type de connaissances requises par les tâches du test et si on fait faire beaucoup d’exercices dont la forme reproduit celle des items du test, les résultats augmenteront au début pour plafonner par la suite (Linn, 2000).

Un des arguments majeurs qui justifieraient le classement des écoles selon les résultats à une série d’épreuves uniformes est de fournir des données aux consommateurs qui veulent s’assurer que leurs enfants sont dans une «bonne» école. Il faut cependant noter qu’une évaluation des écoles qui ne tient compte que de ce type d’indicateur entraîne, à plus ou moins brève échéance, une distorsion de l’enseignement, car la pression exercée sur les enseignants les amène à délaisser les aspects qui ne sont pas évalués dans les épreuves, peu importe l’importance et la pertinence des apprentissages qui doivent alors être mis de côté. Cette préparation intensive, désignée en France sous le terme péjoratif de *bachotage*, n’a pour seul but que celui de faire passer le test, au détriment du reste de la formation de l’élève.

En tant que consommateurs qui veulent s’assurer que leurs enfants sont dans une «bonne» école, les parents devraient-ils exiger que les enseignants préparent très bien leurs enfants à passer ces épreuves, mais beaucoup moins bien pour réaliser d’autres types d’apprentissages ?

Des recherches montrent en effet que des États américains qui ont adopté les résultats à des tests standardisés comme levier pour le changement et l’amélioration du système ont vu le curriculum enseigné rétrécir. On a mis peu à peu l’accent sur des contenus de base effectivement évalués dans les épreuves au détriment d’apprentissages peu évalués par ces épreuves mais tout aussi importants (Resnick & Resnick, 1992; Wilson & Corbett, 1990). Une réduction de ce qui est enseigné pour retenir uniquement ce qu’on retrouve dans les tests, est-ce que c’est ce que souhaitent les parents consommateurs pour l’éducation de leurs enfants ? Il faut être très prudent à cet égard, car les résultats aux épreuves uniformes ne disent pas tout sur les apprentissages réalisés par les élèves dans la salle de classe et à l’école. En effet, alors que les épreuves uniformes surviennent en bout de piste, sont d’une durée limitée et vérifient des apprentissages d’un type particulier (format et durée de l’épreuve obligent), les élèves sont en action plusieurs semaines par année dans des situations et des interactions complexes. Le seul résultat à une épreuve uniforme ne rend pas justice à la diversité des apprentissages réalisés et à la contribution de l’école à ces apprentissages.
On doit aussi considérer que le ministère de l'Éducation du Québec ajuste régulièrement les résultats aux différents tests qu'il administre (il ne s'en cache pas d'ailleurs). Il lui arrive en effet de concocter des épreuves trop faciles ou trop difficiles. Il effectue *a posteriori* des ajustements afin qu'il n'y ait pas trop d'élèves pénalisés. Son souci est plus administratif que pédagogique. À cet effet, le Ministère ne leurre personne. Il affirme que «les épreuves ne sont pas expérimentées». Les auteurs de l'étude indiquent qu'ils ont utilisé les résultats non convertis. Est-ce qu'ils ont utilisé des résultats valides pour ce qu'ils voulaient en faire ? Le Ministère lui-même croit qu'il est nécessaire d'ajuster les résultats pour tenir compte du fait que le cycle de validation des épreuves n'est pas complété.

## La stratégie de dissémination des résultats de l'étude

Une facette particulière de l'étude a été peu commentée. Il s'agit du processus de diffusion des résultats. La présentation de l'étude par l'IEDM et le FI a été accompagnée de la publication par le magazine *L'Actualité* du classement et des cotes des écoles pour les années 1998-1999 et 1995-1999. Le reportage dans le magazine occupe environ 30 pages, soit environ 40% de l'espace dévolu au contenu. L'affaire a fait du bruit. Des politiciens ont commenté, des éditorialistes ont supputé les avantages et les désavantages de l'exercice, des journalistes ont décrit les classements, des lecteurs ont écrit dans les journaux, un des auteurs de l'étude a pris la plume et a répondu aux critiques. Les caméras ont couru voir les premiers et les derniers du bulletin/palmarès. Un événement hautement médiatisé, pourrions-nous dire. Le magazine *L'Actualité* en a fait un numéro spécial et son tirage a probablement été le plus élevé de toute l'année. Les journalistes ont presque tous repris les chiffres de l'étude, en les citant comme des vérités. Pourtant, il s'agit d'une étude relativement banale, comme on pourrait en faire plusieurs autres.

Plusieurs ont cru que le *Bulletin* de l'IEDM et de l'IF comblait un vide et qu'absolument rien de tel n'existait avant cela au Québec. Ainsi, Jean-Paul Gagné écrit dans *Les Affaires* : «Il faut souhaiter que les deux instituts, qui se financent privèment [sic], continuent d'évaluer la performance des écoles secondaires du Québec, puisque l'État ne le fait pas.» (4 novembre 2000, p. 12.) Même son de cloche chez Gary Stronach, président de la Fédération des comités de parents du Québec, qui soutient dans une interview donnée au *Devoir* que ce *Bulletin* «nous donne des informations que nous n'avons pas» (28 octobre 2000, p. A3). Or, les résultats des écoles aux épreuves de juin font
depuis belle lurette l'objet d'un fascicule publié annuellement par le ministère de l'Éducation et sont disponibles sur son site Internet. Les auteurs de l'étude ne fournissent donc pas une information nouvelle. Ils ne font que l'obscurcir en la combinant avec deux indicateurs plutôt mystérieux sur le plan conceptuel (la surestimation des résultats par l'école et la disparité entre garçons et filles) et ils en présentent une interprétation biaisée.

Compte tenu de sa valeur «scientifique», on peut se demander ce qui a valu une telle couverture médiatique à l'étude de Cowley et Marceau, pour le compte de l'IEDM et du FI. Il est rarissime que la publication par des chercheurs en éducation d'une étude de ce type suscite autant d'intérêt chez les gens des médias. Peut-être parce qu'il s'agit d'une entreprise de mise en marché rondement menée, une de celles auxquelles le FI est habitué.

Quel était l'objectif réel de la publication de ce bulletin par le FI et l'IEDM? Le FI n'affirme-t-il pas, en page de garde de la publication, qu'un de ses buts «est de réorienter l'attention de la population sur le rôle que jouent les marchés concurrentiels dans la promotion du bien-être des Canadiens». On sait aussi que les commanditaires veulent récidiver et M. Marceau affirmait même que «le Bulletin est là pour rester» (La Presse, 11 novembre 2000, p. A19). Nous pensons que la publication de cette étude vise d'abord à influencer l'opinion publique en ce qui a trait à l'introduction d'un libre marché en éducation et à la privatisation du système d'éducation. En toute coïncidence, sans doute, l'étude était publiée au moment où les parents qui désirent inscrire leur enfant dans le réseau des écoles privées sont appelés à arrêter leur choix en la matière!

À cet égard, on peut rappeler une série d'études menées par Carey (1997). Celui-ci a montré que le milieu des affaires américains avait élaboré des stratégies très précises pour faire passer ses idées sur la libéralisation des marchés. Ainsi, on avait créé, dans les années 70, un nouveau type de *think tanks*, plus agressifs, et très bien financés par l'industrie privée. Ces organisations avaient pour noms *Heritage Foundation*, *Business Roundtable*, *American Institute for Policy Research*, etc. Elles ont financé un nombre impressionnant de recherches menées par des économistes conservateurs et des chercheurs acquis à leur idéologie sur le thème de la libéralisation des marchés et de ses vertus. Il s'agissait de faire en sorte que, par la magie du nombre de publications en faveur de la bonne position, le débat «reste dans une perspective adéquate» et que «l'opinion publique puisse plus facilement comprendre où sont ses intérêts». Carey utilise même l'expression «propagande» pour décrire les caractéristiques des activités de recherche de ces
*think tanks*. Est-ce que le FI et l'IEDM sont à classer dans la même catégorie que leurs homologues américains, anglais ou australiens ? D'après leur stratégie de dissémination des résultats, on est bien tenté de répondre oui.

## Conclusion

### Une école à améliorer

Quelle est la performance des élèves québécois lorsqu'on la compare à celle des élèves des autres provinces du Canada ou aux élèves d'autres pays ? Il apparaît qu'elle est nettement supérieure à la performance des jeunes Américains et que, le plus souvent, elle est supérieure à celles des élèves des autres provinces du Canada (Conseil des ministres de l'éducation du Canada, 2000). Vu sous cet angle, le système d'éducation québécois est plutôt performant.

Ce qui ne veut pas dire qu'il n'y a pas de place pour améliorer notre système d'éducation. Surtout que, malgré un rang honorable, les scores moyens des élèves du Québec sont loin de ceux des pays de tête. De plus, dans toutes les enquêtes internationales, on constate que pour chaque pays participant, il y a des élèves qui réussissent très bien les épreuves et des élèves qui les réussissent moins bien. Le Québec ne fait pas exception. Un peu à l'image de ce qu'on retrouve dans toutes les classes, peu importe l'école. Il y a des élèves qui ont plus de difficultés et des élèves qui ont moins de difficultés. Il y a de la variation et de la variété dans les résultats. La classe et l'école ne sont pas des milieux où tous les individus sont identiques et où le résultat de chacun peut être assimilé à une moyenne globale d'école, comme l'ont fait les auteurs de l'étude. On perd beaucoup d'information en ne tenant pas compte de la variation des résultats entre les élèves selon les écoles. De plus, des modèles relativement simples existent pour modéliser les données en tenant compte de tous les niveaux d'information : élèves, classe, école, famille, région, etc. (voir à cet effet Bressoux, Leroy-Audouin & Coustère, 1998). Dommage que les auteurs n'en aient pas tiré parti et se soient limités à une analyse statistique de base. Il faut souligner cependant l'effort de modélisation consenti pour analyser l'impact de certaines caractéristiques familiales sur la cote des écoles. D'ailleurs, lorsque les données sur la présence ou l'absence d'un mécanisme de sélection des élèves seront intégrées au processus de modélisation, il sera intéressant d'isoler l'impact des variables dites socio-économiques et de produire des données tenant compte du concept de « valeur ajoutée » de l'école (un peu comme on le fait en France actuellement).
Une école de qualité pour tous

La première phrase du rapport de Cowley et Marceau affirme que «[l]es bonnes écoles répondent aux besoins des parents, élèves, contribuables et employeurs». Pourquoi pas, si c'est ce que désire la société comme finalité du système d'éducation. Cependant, il apparaît risqué pour une société de laisser l'éducation de ses enfants à la merci des décisions que pourrait prendre le marché ou à la merci de ceux qui prônent un marché totalement ouvert. Des décisions qui, à l'heure actuelle, ne reposent pas sur une démonstration d'une validité acceptable en regard des enjeux (Carnoy, 2000; Golhaber, 1999, 2000).

Peut-être faut-il aussi défendre une position idéologique et dire que l'éducation n'est pas à vendre. Qu'il n'y a pas de profit à faire sur le dos de l'éducation. Que l'éducation ne doit pas servir les intérêts d'un groupe particulier d'individus de la société, peu importe sa capacité à influencer l'opinion des citoyens. Que l'éducation est devenue, dans bien des pays, un patrimoine public, peut-être le dernier rempart de la démocratie. Qu'il faut y voir et, sans aucun doute, qu'il faut l'améliorer, pour le bien-être de tous, sans discrimination.

NOTE

1. Membres du Centre de recherche interuniversitaire sur la formation et la profession enseignante (CRIFPE).

RÉFÉRENCES

Blais, J.-G. (2000). *L'obligation des résultats à la lumière de l'interaction entre le quantitatif et le social*. Conférence présentée lors du Colloque international sur *L'obligation des résultats en éducation* dans le cadre des Entretiens Jacques-Cartier 2000. Texte diffusé sur le site de l'AFIDES: www.afides.qc.ca.

Bressoux, P., Leroy-Audouin, C., & Coustère, P. (1998). Les extensions des modèles multi-niveau et leur application pour l'évaluation en éducation. *Mesure et évaluation en éducation, 21*(1), 39-60.

Carey, A. (1997). *Taking the risk out of democracy: Corporate propaganda versus freedom and liberty*. Chicago: University of Illinois Press.

Carnoy, M. (2000). School choice? Or is it privatization? *Educational Researcher, 29*(7), 15-20.

Coleman, J.S., Campbell, E.Q., Hobson, C.J., McPartland, J., Mood, A., Weinfield, F.D., & York, R.L. (1966). *Equality of Educational Opportunity*. Washington, DC: US Department of Health, Education and Welfare, US Government Printing Office.
Conseil des ministres de l'éducation du Canada (2000). *Indicateurs de l'éducation au Canada. Rapport du programme d'indicateurs pancanadiens de l'éducation, 1999*. Ottawa: Conseil des statistiques canadiennes de l'éducation.

Cowley, P., & Marceau, R. (2000). *Bulletin des écoles secondaires du Québec*. Montréal: Institut économique de Montréal et The Fraser Institute.

Deming, W.E. (1982). *Out of the crisis*. Cambridge: MIT, CAES.

Goldhaber, D. (1999). An examination of the empirical evidence, parental decision making, and equity. *Educational Researcher, 28*(9), 16-25.

Goldhaber, D. (2000). School choice: Do we know enough. *Educational Researcher, 29*(8), 21-22.

Haney, W.M., Madaus, G.F., & Lyons, R. (1993). *The fractured marketplace for standardized testing*. Boston, MA: Kluwer Academic Publishers.

Juran, J.M. (1989). *Juran on leadership for quality: An executive handbook*. New York, NY: The Free Press.

Lauder, H., & Hughes, D. (1999). *Trading in future*. Buckingham, Angleterre: Open University Press.

Lessard, C. (2000). *L'obligation de résultats en éducation: De quoi s'agit-il au juste? Conférence d'ouverture du Colloque international sur L'obligation des résultats en éducation* dans le cadre des Entretiens Jacques-Cartier 2000. Texte diffusé sur le site de l'AFIDES: www.afides.qc.ca.

Linn, R.L. (2000). Assessment and accountability. *Educational Researcher, 29*(2), 4-15.

Madaus, G.F. (1993). A national testing system: Manna from above? An historical/technological perspective. *Educational Assessment, 1*(1), 9-26.

Madaus, G.F., & Raczek, A.E. (1996). The extent and growth of educational testing in the United States: 1956-1974. In H. Goldstein & T. Lewis (réds), *Assessment: problems, developments and statistical issues* (pp. 145-166). New York: Wiley.

McLean, L.D. (1996). Large-scale assessment programs in different countries. In H. Goldstein & P. Lewis (réds), *Assessment: problems development and statistical issues* (pp. 189-208). New York, NY: Wiley.

Migué, J.-L., & Marceau, R. (1989). *Le monopole public de l'éducation: l'économie politique de la médiocréité*. Sillery, Qc: Les presses de l'Université du Québec.

Resnick, L.B., & Resnick, D.P. (1992). Assessing the thinking curriculum: New tools for educational reform. In B.G. Gifford & M.C. O'Connor (réds), *Changing assessment: alternatives views of aptitude, achievement and instruction* (pp. 37-45). Boston, MA: Kluwer Academic Publishing.

Sutton, A., & Soderstrom, I. (1999). Predicting elementary and secondary achievement with school-related and demographic factors. *Journal of Educational Research, 92*(6), 330-338.

Scheerens, J. (1992). *Effective schooling: research, theory and practice*. Londres: Cassel.

Terrisse, B., Larose, F., & Lefebvre, M.-L. (2000). *Analyse des caractéristiques des mesures d'intervention éducative précoce et comparaison de leurs effets à moyen terme sur l'adaptation scolaire et sociale d'enfants de milieux socio-économiquement faible*. Montréal: UQAM, Département des sciences de l'éducation. Rapport final de recherche présenté au Conseil québécois de la recherche sociale pour la subvention n° 2677 095.
Terrisse, B., Larose, F., & Lefebvre, M.-L. (1998). L'évaluation des facteurs de vulnérabilité et de protection dans la famille: Le Questionnaire sur l'Environnement Familial. *La revue internationale de l'éducation familiale; recherche et interventions*, 2(2), 39-62.

Wilson, B.L., & Corbett, H.D. (1990). Statewide testing and local improvement: An oxygenation? In J. Murphy (réd.), *The educational reform movement of the 1980's: Perspectives and cases* (pp. 243-264). Berkeley, CA: McCutchan.