Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/06909.jsonl.gz/440

Focus "Recherche et évaluation"
Dix étapes pour une bonne évaluation
La planification de la formation n’est plus envisageable sans description systématique ni évaluation des mesures de formation. Comment caractériser une bonne évaluation? À quelle fréquence les résultats sont-ils embellis?
Par Lars Balzer, chef du domaine Évaluation de l’Institut fédéral des hautes études en formation professionnelle, et Wolfgang Beywl, responsable de la chaire de management de la formation et de développement scolaire et du personnel à la HEP de la Haute école spécialisée du Nord-Ouest de la Suisse
(Photo: Adrian Moser)
1) La première étape d’une bonne évaluation consiste à définir l’objet de l’évaluation. On établit une première description compréhensible pour une personne extérieure au projet. Le nom de l’offre de formation, les initiateurs, les responsables, les collaborateurs, les groupes cibles, les contenus, les plans de mise en œuvre ou encore les ressources sont quelques-uns des éléments importants. Les objets d’évaluation sont en général des projets concrets, mais il peut aussi s’agir d’organisations tout entières. Souvent, il faut formuler les objectifs du projet. L’évaluation peut aussi porter sur leur vérification.
2) Dans un deuxième temps, on définit les stakeholders, autrement dit les acteurs intéressés, ainsi que les personnes concernées et celles impliquées. Les personnes impliquées sont des individus, des organisations ou des groupes qui sont actifs ou influents face à l’objet de l’évaluation, tels que des investisseurs, des responsables ou des collaborateurs. Les personnes concernées sont notamment les personnes qui ont peu d’influence, comme les groupes cibles. Les acteurs qui cherchent des informations et qui ont éventuellement des attentes en ce qui concerne l’évaluation sont des utilisateurs potentiels. Les évaluateurs font eux aussi partie des acteurs: une évaluation interne est réalisée par des membres de l’organisation responsable de l’objet de l’évaluation. En revanche, les évaluations externes sont menées par des personnes extérieures à l’organisation.
3) Lors de la troisième étape, il s’agit de définir l’objectif de l’évaluation et de formuler des problématiques spécifiques, clairement orientées et priorisées. Il faut alors faire la différence entre une évaluation axée sur une décision, une évaluation visant à faire un compte rendu, une évaluation axée sur l’amélioration et une évaluation destinée à générer un savoir. L’objectif d’une évaluation axée sur la décision est de justifier une direction, comme l’élargissement ou au contraire la réduction d’une offre. Dans la version visant à faire un compte rendu, il s’agit de définir la valeur d’un objet d’évaluation. En général, ces deux modèles prennent la forme d’une évaluation dite sommative. À l’inverse, l’évaluation formative fournit des informations pour améliorer l’objet de l’évaluation. Les problématiques, qui se fondent sur l’objectif de l’évaluation, doivent dire quelles informations sont nécessaires aux utilisateurs prévus. Il peut s’agir de thèmes tels que l’équité des offres face aux besoins, la satisfaction des clients, le succès d’apprentissage, l’utilité du transfert ou le rapport coût-bénéfice.
4) Les critères d’évaluation constituent un prérequis pour toute évaluation systématique et équitable. Ils sont définis en quatre étapes. Ils fournissent une base de référence sur laquelle s’appuient les jugements relatifs au bien-fondé ou à la faisabilité des objets d’évaluation. Des critères opérationnels doivent être fixés au début de la récolte de données, au plus tard avant le début de l’exploitation de celles-ci. Souvent, il est nécessaire de demander aux stakeholders leurs critères d’évaluation et de traiter les critères à prendre en compte. En aucun cas il ne faut définir des critères d’évaluation ad hoc, purement intuitifs, dont la méthodologie n’est pas contrôlée ou qui ne sont pas clairs.
5) À la cinquième étape, les évaluateurs planifient la procédure méthodologique concrète et l’appliquent. Ils choisissent un design d’évaluation adapté à l’objet évalué ainsi que des méthodes appropriées, et élaborent un plan de récolte des données. Ce dernier définit quelles données sont récoltées par qui, à quel moment et de quelle manière. Le design d’évaluation clarifie la structure logistique et les délais du projet ainsi que le déroulement méthodologique et technique de la récolte de données. Il n’y a pas de recette magique pour choisir la méthode de recueil des données; il faut s’orienter vers les problématiques en question et les conditions cadres.
6) Après avoir été soigneusement préparées, les enquêtes peuvent démarrer. Il faut alors tenir compte des aspects logistiques et techniques, mais aussi des problèmes à gérer. Une évaluation ne se déroule pas dans des conditions de laboratoire, mais constitue une science sociale appliquée dans un environnement dynamique de travail et d’apprentissage influencé par l’évaluation. Le défi consiste à réagir de manière flexible aux impulsions de l’environnement, tout en suivant une approche scientifique systématique. Lors des récoltes de données, les exigences de validité, de fiabilité et d’objectivité entrent en concurrence avec des réflexions économiques, le respect des délais ou la participation possible des stakeholders.
7) La septième étape porte sur la saisie, le contrôle et l’évaluation systématiques des données en fin d’enquête, en les présentant de manière condensée et explicite, en les résumant verbalement et en les mettant en lien avec les problématiques de façon claire et compréhensible. Il s’agit ensuite de tirer des conclusions et de procéder à des évaluations à partir des critères d’évaluation. Il est essentiel que les appréciations issues des données empiriques soient justifiées sur la base des critères définis au préalable.
8) Afin qu’une évaluation soit vraiment utile pour la pratique, ses résultats doivent faire l’objet d’un rapport: c’est ce en quoi consiste la huitième étape. Pour ce faire, il est nécessaire de clarifier en amont la présentation du contenu en sachant notamment à qui le rapport est destiné.
9) Les évaluations ne sont pertinentes que si elles peuvent être utilisées dans la pratique, ce qui doit être préparé lors de la neuvième étape. Pendant longtemps, l’utilité d’une évaluation se mesurait uniquement à l’utilisation de ses résultats. Depuis, il est communément admis que le déroulement de l’évaluation peut déjà apporter beaucoup à la pratique.
10) Lors de la dixième étape, l’évaluation peut elle-même faire l’objet d’une évaluation. Faire évaluer son travail et en déduire des possibilités d’amélioration pour de futures évaluations relèvent d’un vrai devoir professionnel.
Liens et références bibliographiques
Balzer, L., Beywl, W. (2015): evaluiert – Planungsbuch für Evaluationen im Bildungsbereich. Bern, hep verlag.
Pleger, L., Sager, F. (2016): Don’t tell me cause it hurts – Beeinflussung von Evaluierenden in der Schweiz. In: Zeitschrift für Evaluation (Nr. 1).
Böttcher, W. et al. (Hrsg., 2014): Evaluation in Deutschland und Österreich. Stand und Entwicklungsperspektiven in den Arbeitsfeldern der DeGEval – Gesellschaft für Evaluation. Münster, Waxmann.
Frey, B. S. (2008): Evaluitis – eine neue Krankheit. In: Matthies, H. & Simon, D. (Hrsg.), Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluationen (S. 125-140). Wiesbaden, VS Verlag für Sozialwissenschaften.
Kappler, E. (2010): Vorsicht vor Evaluationismus! – Ein kritischer Beitrag. In: journal für lehrerinnen- und lehrerbildung (Nr. 4, S. 36-47).