# HarmoS, monitorage de l'école obligatoire et sciences de l'éducation: le point de vue d'un didacticien

## Daniel Bain

Mes premières réactions à l'article de W. Herzog peuvent être résumées par ces trois réflexions, qui seront reprises et précisées ci-après: «Il était temps de réagir; il est peut-être en partie trop tôt; mais, espérons-le, pas trop tard!». Je dirai ici pourquoi je partage plusieurs des craintes et des mises en garde de l'auteur, en revenant d'abord sur la mission attribuée à la recherche en éducation par HarmoS. Je développerai plus particulièrement mes réserves ou appréhensions quant au rôle probable assigné aux instruments de monitorage en préparation. Ma perspective sera celle d'un didacticien qui essaie d'anticiper les conséquences du dispositif mis en place sur les modalités de l'enseignement-apprentissage à l'école obligatoire.

## L'instrumentalisation de la recherche en sciences de l'éducation: un danger inhérent à la procédure mise en place par HarmoS et le monitorage de l'éducation en Suisse

Il était temps que quelqu'un pose clairement, voire sous forme polémique, le rapport entre une opération de coordination de nos systèmes scolaires comme HarmoS et la recherche en sciences de l'éducation; que soient questionnées les relations entre les politiques, assistés dans leur entreprise par l'administration de la CDIP, et les chercheurs dans ce domaine. Certes, plusieurs des problèmes posés par W. Herzog ont déjà été évoqués dans diverses publications (déjà à propos de PISA) et, pour la SSRE plus particulièrement, lors du colloque tenu à Kreuzlingen en 2007 sur le thème «Mesurer l'éducation: stratégies, concepts et conséquences». Mais les réserves émises l'ont été habituellement sur un plan scientifique général plutôt que sur celui des rapports entre acteurs dans le champ des sciences de l'éducation, et sans toujours apprécier les enjeux et les conséquences des applications sur le terrain du processus qui est en route.

Notre collègue parle (premier paragraphe) de mobilisation ou d'embrigade-ment de la recherche par la politique (ma traduction de «Indienstnahme») et ail-
leurs de la prétention de cette dernière *de tenir en bride* («an die Kandare nehmen», première partie; sixième partie) les sciences de l'éducation. Ces métaphores sont-elles exagérées, les rapports entre politique et administration d'une part et recherche en éducation sont-ils présentés de façon caricaturale? Je n'en suis pas si sûr. J'ai repéré dans la préface de la publication *L'éducation en Suisse: rapport 2006*, sous la plume de la présidente du groupe de pilotage du projet «Monitorage de l'éducation en Suisse», le passage suivant: «La statistique de l'éducation collecte les données et met des indicateurs à disposition. Il incombe ensuite à la recherche en éducation d'analyser et d'interpréter ces données pour en tirer des conclusions (constats)» (Wolter, 2006, p. 6); le graphique de la page suivante confirme et complète le cycle amorcé ci-dessus. «Il incombe ensuite...»: le rôle de la recherche en éducation apparaît second, sinon secondaire. Dans une autre optique, notamment dans celle présentée par W. Herzog, on aurait pu s'attendre à un rôle primordial des sciences de l'éducation mettant en perspective théorique l'ensemble du processus, en se fondant sur les études relatives à l'innovation et à la rénovation des systèmes de formation. Le texte cité à l'instant ajoute quelques précisions destinées apparemment à nuancer l'attribution caricaturale des rôles que laisserait supposer le passage cité ci-dessus: «[...] Les chercheurs doivent aussi identifier les lacunes qui peuvent se manifester aussi bien dans l'établissement des données que dans les apports de la recherche» (Wolter, 2006, p. 6). Et plus loin, l'auteure plaide pour une étroite collaboration entre spécialistes de la statistique et scientifiques de la recherche et se défend de vouloir «instrumentaliser la recherche en éducation» (Wolter, 2006).

En fait, le rôle de chacun dépendra étroitement de la procédure adoptée et du moment d'intervention des uns et des autres dans le processus d'enquête et de monitorage. Dans HarmoS, les chercheurs ou la recherche en éducation semblent plus réactifs qu'actifs du fait du dispositif mis en place et de son calendrier (CDIP, 2004). On pourrait estimer cette affirmation injuste en avançant le fait que, dès son début, l'ensemble de l'opération, à commencer par l'élaboration des modèles de compétences, bénéficie des apports antérieurs et actuels de la recherche en éducation ainsi que de la collaboration de scientifiques (CDIP, 2004). En réalité, ces derniers interviennent en tant qu'experts, dans une procédure d'expertise et dans un processus largement prédéterminé, non seulement dans son déroulement (le calendrier est impératif), mais aussi dans certains de ses pré-supposés et dans ses modalités.

Je rappelle d'abord qu'il s'agit de mettre en place un dispositif correspondant aux nouveaux articles constitutionnels sur la formation, acceptés à près de 86% lors de la votation de mai 2006, et d'assurer le «monitorage du système d'éducation» prévu par l'article 10 de l'«Accord intercantonal sur l'harmonisation de la scolarité obligatoire» (CDIP, 2007). Les contraintes, notamment temporelles (voir *planning*), du mandat ainsi qu'une transparence limitée du processus me semblent restreindre singulièrement le débat scientifique sur les productions des consortiums chargés des développements scientifiques. Or, une telle discussion
serait importante étant donné les retombées probables d'HarmoS sur la formation scolaire en Suisse. En effet, le projet de 2004 prévoit entre autres que «tous [l]es instruments de pilotage [actuels = plans d'études et programmes, moyens d'enseignement] devront intégrer les indications de HarmoS et s'y adapter» et que «les effets d'harmonisation et de clarification vont s'étendre à la didactique et à la formation des enseignants» (CDIP, 2004, p. 4).

On peut d'abord regretter qu'au départ de toute l'opération, les rapports des experts chargés d'évaluer les projets des consortiums n'aient pas été rendus publics, malgré l'insistance de certains en faveur d'une telle publication. On aurait pu ainsi savoir quels étaient les problèmes théoriques et pratiques soulevés par le projet. Une autre étape qui aurait mérité un débat préalable ou intermédiaire est l'élaboration de *modèles de compétences* pour chaque discipline. Ce concept lui-même n'est pas neutre théoriquement: il oriente vraisemblablement vers une certaine position épistémologique, probablement plutôt cognitiviste que socio-constructiviste. Ce d'autant plus qu'il est d'emblée question de déterminer différents niveaux de compétences. Ceux-ci impliquent une certaine perspective développementale (continue?) qui aurait été intéressante à discuter dès le début en relation avec différentes options didactiques.

Certes, il est prévu dans le projet initial d'appuyer la modélisation des compétences dans chaque branche «sur les fondements de la didactique disciplinaire» (CDIP, 2004, p. 12). Mais c'est faire implicitement l'hypothèse que ces fondements sont universels (!) ou du moins largement partagés par les didacticiens des différentes régions de notre pays. *A priori*, rien de dramatique à ce que des divergences existent à ce sujet, et HarmoS aurait pu être l'occasion de débats intéressants entre différentes conceptions de l'enseignement-apprentissage dans les disciplines concernées. Un compte rendu de ces discussions aurait été également profitable sur le plan scientifique. J'emploie ici le conditionnel passé parce que, à ma connaissance, ce débat est resté interne au groupe des experts du consortium et des consultants externes. Le calendrier fixé n'aurait très certainement pas permis une plus large discussion.

De ces modèles de compétences sont donc dérivés des standards de formation définissant «de manière normative une attente de résultats, qui puissent avoir un caractère contraignant à l'échelle nationale» (CDIP, 2004, p. 6), standards de performances eux-mêmes opérationnalisés sous formes d'items de tests appliqués à un large échantillon de classes. En bref, sur cette base, il est prévu de valider les modèles de compétences dans les quatre disciplines choisies ainsi que leurs différents niveaux, puis de demander aux responsables politiques de déterminer les compétences minimales de fin de cycles (standards). Aux diverses étapes, et notamment à la fin du processus, les résultats et propositions des consortiums doivent être soumis à un panel représentant les milieux concernés, dont des experts dans le domaine des sciences de l'éducation venant de l'extérieur du groupe préparatoire. Alors, peut-on prétendre avec W. Herzog (début de son article) que «la Suisse est sur le point de renouveler radicalement son système éducatif. Et ceci
sans qu'une véritable discussion ait eu lieu»? Et les dangers de standardisation de l'école ( titre de l'article) sont-ils réels?

Une procédure limitant progressivement les pos-
sibilités d'intervention de la recherche et des
chercheurs; rôle central probable des moyens
d'évaluation

On pourrait d'abord se dire qu'il est encore trop tôt pour juger de ces dangers puisque nous ne sommes pas encore à la fin des opérations prévues d'HarmoS et que la phase finale de consultation n'a pas encore eu lieu. Notre hypothèse, étayée par notre expérience dans des opérations de ce genre, est que la procédure engagée limite habituellement – de facto – singulièrement le débat scientifique à toutes les étapes, de par ses modalités et son calendrier. On peut d'abord s'atten-dre à ce que les tests préparés à partir des modèles de compétences jouent un rôle central. Ils vont opérationnaliser les différents constructs en jeu, et notamment les divers niveaux de compétences qui serviront de référence. Appliquée à «un large échantillon de classes», cette évaluation est nécessairement de type papier-crayon pour la grande majorité des exercices. Malgré la compétence et l'ingéniosité des constructeurs des tests prévus, on risque donc d'être bien loin de la définition des compétences donnée dans le document de la CDIP (2004, § 3.4, p. 8), notam-ment en ce qui concerne la mobilisation de diverses ressources en contexte, dans des «situations-problèmes» (CDIP, 2004, §3.3, p. 7). Par ailleurs, le recours à un modèle statistique comme la Théorie des réponses aux items (TRI) implique toute une série de contraintes, relatives en particulier à l'unidimensionalité des tests et aux courbes caractéristiques des items. C'est ainsi que risquent d'être éliminées certaines questions trop faciles ou trop peu discriminatives bien que représenta-tives des objectifs d'apprentissage de la discipline. C'est ainsi également que cer-tains contenus se prêtant mal à la situation d'évaluation et aux exigences du mo-dèle statistique n'apparaîtront pas dans les épreuves. Finalement, dans une opération de ce genre, il est rare que l'on connaisse les compromis que l'on a dû faire pour composer le test final et le degré d'ajustement de celui-ci au modèle initial, notamment au construct.

À partir de là, ce que je voudrais d'abord souligner, c'est que, dans ce proces-
sus, la latitude d'intervention et de débat scientifique des spécialistes des sciences
de l'éducation (externes aux consortiums) se restreint comme une peau de cha-
grin au fur et à mesure que l'on avance dans les opérations. On oppose souvent
aux objections plus ou moins fondamentales (épistémologiques, théoriques) de
ces spécialistes soit des critères statistiques, sur lesquels ils n'ont aucun contrôle
ou aucune influence possibles, soit des contraintes de temps liées aux délais fixés.
Dans de telles situations, le didacticien constate que le critère, primordial pour
lui, de pertinence ou validité de l'évaluation par rapport aux objectifs pédagogi-
ques cède le pas à des contraintes d'applicabilité, d'homogénéité ou de fidélité du
test. Dans ces conditions, on se demande si la consultation qui doit clore la phase
scientifique de HarmoS n'est pas terriblement piégée, en particulier si elle prend
comme référence les résultats aux évaluations, censées permettre de prendre des
décisions quant aux standards «en connaissance de cause» (CDIP, 2004, p. 13).
Le processus décrit sommairement ci-dessus, composé d'une série de décisions
intermédiaires, aboutit généralement à un dispositif certes opérationnel, mais
dans lequel on ne peut pas identifier facilement ce que sont devenus les présup-
posés théoriques de départ.

Fonction critique de la science et contraintes politiques

Par ailleurs, compte tenu du contexte politique, un débat scientifique à ce stade
pourrait bien constituer un combat d'arrière-garde: dès 2008, on jugera urgent
d'appliquer l'accord intercantonal sur l'harmonisation de la scolarité obligatoire
donnant un caractère contraignant aux standards de performances à développer
chez les élèves (CDIP, 2007). Si des révisions ultérieures de l'«annexe technique»
du concordat sont prévues dans le projet initial d'HarmoS, celles-ci exigeront «à
chaque modification une décision de l'Assemblée plénière de la CDIP à la majo-
rité des deux-tiers» (CDIP, 2004, p. 13). C'est dire l'importance de ce document
pour l'enseignement en Suisse. C'est sur cette base qu'on va demander des comp-
tes (voir le concept d'accountability mentionné en exergue dans l'article auquel je
me réfère) aux différents systèmes scolaires. Ce que je viens de décrire me semble
justifier la crainte de W. Herzog «que la réforme actuelle du système scolaire
suisse puisse avoir un effet néfaste sur les sciences de l'éducation et la recherche
en éducation, car celles-ci sont poussées dans une position qui met en danger
leur indépendance et limite leur fonction critique».

D'un point de vue didactique, ce que je crains le plus, c'est l'effet en retour
sur l'enseignement (washback effect) des épreuves utilisées pour valider les modè-
les et les différents niveaux de compétences. Dans le dispositif HarmoS, cet effet
pourrait se faire en cascade. Les standards et leur opérationnalisation sous forme
d'items de tests illustrant «les résultats attendus» sont censés avoir des répercus-
sions importantes sur le curriculum: «Les régions, respectivement les cantons,
auront à procéder à diverses adaptations dans leurs plans d'études et leurs
moyens d'enseignement. Les institutions de formation des enseignants et les
didacticiens devront intégrer les modèles de compétences et leur cadre de réfé-
rence à leurs approches disciplinaires et à leurs programmes de formation»
(CDIP, 2004, p. 1). Sur les plans théorique et pratique, il y a là, à mes yeux, une
ambition démesurée de HarmoS par rapport aux standards en général, et en par-
ticulier par rapport à ceux produits par l'opération en cours. Une telle ambition
traduit une représentation quasi naïve – et certainement simpliste – du fonc-
tionnement du système scolaire et des mécanismes d'innovation ou de rénovation de celui-ci: les métaphores de pilotage et monitorage par les standards deviennent caricaturales. On se trouve surtout face à une hégémonie des standards, à l'aune desquels on jugera non seulement globalement de l'efficacité – des progressions et régressions – voire de l'efficience des divers systèmes scolaires cantoнаux ou régionaux, mais aussi de la qualité des méthodes ou de la formation des enseignants. Pour ceux-ci, ils devraient en effet servir de «cadre de référence pour leur agir professionnel» (CDIP, 2004, p. 7).

Il ne s'agit que d'un «cadre de référence», diront les tenants de HarmoS, et les enseignants auront toute latitude de parvenir aux *outputs* souhaités par leurs pres voies; leur autonomie didactique serait ainsi préservée. Doit-on donc considérer comme exagérée ou infondée la crainte de W. Herzog que les enseignants ne puissent plus «se considérer comme les acteurs d'une réforme qui les prive de leur professionnalité» (sixième partie de son article)? Je ne le pense pas: l'opération en cours va au-delà de la simple définition d'un simple cadre de référence. En effet, au-delà de l'opération HarmoS proprement dite, les standards de formation – et très probablement les tests qui auront servi à les valider – vont influer directement sur les évaluations régulières qui prendront la forme d'épreuves de références au niveau national ou régional (CDIP, 2007, art. 8 al. 4 et 10 al. 2), évaluations qui renforceront l'effet en retour dont je parlais à l'instant. Les enseignants seront tentés par une certaine forme de bachotage infléchissant leur stratégie didactique en fonction des exercices apparaissant ou non dans les contrôles réguliers prévus par le concordat. Ils pourraient abandonner certains de leurs objectifs non représentés dans les tests; je pense par exemple à l'apprentissage de la coopération en équipe dans le cadre d'un projet de recherche en laboratoire de sciences.

## Un monitorage s'appuyant sur une conception restreinte de l'évaluation diagnostique

Je conteste par ailleurs que l'ensemble de ce dispositif docimologique puisse «constitu[er] un précieux instrument de référence pour les évaluations de type diagnostic» (CDIP, 2004, p. 11), au sens d'une évaluation formative du système scolaire, voire des établissements et des élèves par ricochet. C'est apparemment un argument souvent avancé pour légitimer HarmoS, et parfois PISA. Cette prétention à une fonction diagnostique me paraît refléter l'insuffisance des fondements théoriques dénoncée par notre collègue, et notamment une conception restreinte du concept de *diagnostic*. Pour que le dispositif mis en place puisse jouer un tel rôle, il faudrait d'abord que les modèles de compétences et les instruments d'évaluation qui les opérationnalisent aient la pertinence – et pour les tests la fiabilité – nécessaires pour identifier le lieu «des forces et faiblesses du système de formation». C'est évidemment une exigence fondamentale si l'on
veut que ce repérage pointe les aspects essentiels du fonctionnement du système de formation. On peut émettre à ce propos un premier doute quant à la généra- lisabilité de constats faits sur la base d'épreuves nécessairement limitées dans l'échantillon des savoirs et savoir-faire testés dans chaque branche, surtout si l'on considère différents domaines ou sous-domaines. Ce d'autant plus qu'on peut s'attendre à des interactions non négligeables entre les activités, conduites ou opérations mobilisées par les différents items et les contenus sur lesquels ils s'exercent. Sans parler des interactions avec les caractéristiques des systèmes sco- laires, voire des établissements évalués. On peut donc craindre que le diagnostic dont il est question dans HarmoS ne soit qu'un repérage grossier et peu fiable.

Mais surtout, selon une définition plus stricte, un véritable diagnostic doit
mener à l'identification de l'origine ou de la cause des «forces et faiblesses» des
objets d'évaluation. Cette perspective étiologique présuppose un cadre théorique
explicatif et des observations ou évaluations construites sur cette base. Je doute
que le dispositif mis en place par HarmoS, et notamment les modèles de compé-
tences, répondent à cette exigence. On entend déjà la réponse à cette objection:
une telle analyse diagnostique devrait intervenir dans un second temps: il in-
combera alors à la recherche en sciences de l'éducation d'apporter les explica-
tions et les suggestions nécessaires! L'illogisme ou le paradoxe d'une telle démar-
che est évident: l'établissement des constats (HarmoS) et l'analyse étiologique
(sciences de l'éducation) risquent de se faire à partir de perspectives théoriques
différentes, les constats eux-mêmes étant éventuellement contestés dans cette se-
conde approche.

Je précise encore que l'identification de l'origine ou des causes des perfor-
mances constatées ne peut se limiter à des analyses corrélationnelles mettant en
relation scores et variables «explicatives», pour plusieurs raisons. Si elles permet-
tent d'estimer le rôle de certains facteurs dans la réussite scolaire, ces corrélations
ne fournissent généralement pas d'indications immédiatement exploitables sur
les mécanismes de cette influence. Les intercorrélations sont en effet multiples et
certains facteurs peuvent en cacher d'autres. D'autre part, certaines variables mé-
riteraient une analyse critique théorique, notamment lorsqu'elles sont construi-
tes sur la base d'une série d'indices plus ou moins pertinents ou fiables, comme
l'origine sociale ou le niveau socio-économique; ou lorsqu'elles recouvrent des
modalités très différentes d'un canton à l'autre comme le «type d'école» ou de
sections «à exigences de base, étendues ou élevées», la proportion d'élèves variant
nettement d'une filière à l'autre dans les différents systèmes scolaires cantonaux.
D'autres variables tirées de réponses à des questionnaires, fondées sur les repré-
sentations ou les opinions des répondants, me paraissent aussi être sujettes à cau-
tion quand elles sont utilisées pour fonder des décisions de réforme du système
de formation.

La médiocre validité diagnostique des données produites par des évaluations comme celles que je critique ici a en particulier pour conséquence qu'il sera bien difficile d'expliquer des différences, progrès ou régressions qu'HarmoS a pour
but de mettre en évidence pour assurer le monitorage de l'éducation en Suisse. Il sera également bien difficile de prendre des mesures ciblées, pertinentes et d'en mesurer l'efficacité. On risque d'en rester à des recommandations relativement globales, par ailleurs rarement très nouvelles, comme celles tirées de PISA (OFS/CDIP, 2003, p. 30s.). Pour «apporter une attention particulière à promouvoir le développement des compétences de lecture des garçons et à pousser les filles en mathématiques» (OFS/CDIP, 2003, p. 30), par exemple, encore faut-il saisir comment l'enseignement actuel interagit avec le genre des élèves dans ces deux branches. Il incombera donc... (voir *supra*).

## En guise de conclusion: il n'est peut-être pas trop tard...

La situation n'est pas simple du point de vue des sciences de l'éducation et de ses acteurs, en particulier sur plan politique. Dans son concordat, HarmoS présente un certain nombre de propositions avec lesquelles il est difficile de ne pas être d'accord dans leurs principes: harmoniser des objectifs d'enseignement et des structures, développer la qualité de la formation et la perméabilité du système scolaire... Il en est de même en ce qui concerne les grandes finalités de la scolarité obligatoire. C'est au niveau des modalités de l'opération et des instruments de pilotage et monitorage communs qu'il s'agit surtout d'être vigilant pour éviter le danger d'instrumentalisation dénoncé par l'article de W. Herzog. Au moment où j'écris (décembre 2007), il est trop tôt pour juger des résultats de l'opération, la phase de large information et consultation n'ayant pas encore eu lieu. Mais il ne sera pas trop tard dès 2008 pour veiller à analyser de près la pertinence de ce qui en sortira: les modèles de compétences et leurs différents niveaux, les standards de formation, les épreuves qui les opérationnaliseront, les recommandations qui en découleront, en les mettant dans chaque cas en rapport avec les curriculums des diverses disciplines concernées: objectifs, contenus, méthodes et principes didactiques, moyens d'enseignement, modes d'évaluation, structure de l'école. Ce faisant, on inversera la logique de HarmoS qui voudrait que ces différentes composantes des curriculums s'alignent sur les standards de formation (voir *supra*). En partant des convergences ou des divergences ainsi mises en évidence, il ne sera (peut-être) pas trop tard pour essayer d'infléchir les modalités de régulation du système, d'en élargir la perspective et de donner à la recherche un autre statut que celle d'un prestataire de services au service de l'efficience du système.

La situation n'est pas simple: il faudra notamment éviter que le débat scientifique qui s'engagera passe pour – ou soit présenté comme – une querelle d'exerts, comme un refus du principe de «rendre des comptes» (*accountability*). Il s'agira donc de faire des propositions pour rendre le dispositif de monitorage et d'évaluation plus pertinent et efficace par rapport à l'objectif d'amélioration du
système de formation. Le coup d'envoi ayant été donné par W. Herzog, la balle est dans le camp des chercheurs en sciences de l'éducation, en espérant qu'ils se sentiront assez concernés pour intervenir dans un processus susceptible d'influer de façon importante sur l'école obligatoire ces prochaines années.

Références bibliographiques

CDIP. (2004). *HARMOS: Finalités et conception du projet, juin 2004*. Berne: CDIP.

CDIP. (2007). *Accord intercantonal sur l'harmonisation de la scolarité obligatoire du 14 juin 2007*. Berne: CDIP.

OFS/CDIP. (2003). *PISA 2000 – Synthèse et recommandations*. Neuchâtel: OFS & CDIP.

Wolter, S.C. (Éd.). (2006). *L'éducation en Suisse: rapport 2006*. Aarau: CSRE/SKBF.

**Mots clés:** HarmoS, recherche en sciences de l'éducation, réforme scolaire, dis-positif d'évaluation, washback effect, évaluation diagnostique