# L'utilisation d'une simulation informatisée pour l'évaluation de la compétence de résolution de problème : une piste pour le contrôle de la qualité en éducation scientifique

**Patrice Potvin**

Université du Québec à Montréal

**Jean-Guillaume Dumont**

Université du Québec à Montréal

**François Boucher-Genesse**

Université du Québec à Montréal

**Martin Riopel**

Université du Québec à Montréal

**Frédérick Fortin**

Université du Québec à Montréal

## Résumé

Une récente étude menée au Québec par les chercheurs de l'Équipe de Recherche en Éducation Scientifique et Technologique (EREST) suggère que les élèves formés dans le système éducatif québécois du *Renouveau pédagogique* (Réforme) sont plus compétents à résoudre un problème d'ordre scientifique et technologique que ceux qui ne l'ont pas été. Ces résultats font partie des rares indices contribuant à l'analyse des effets de la Réforme sur les performances des élèves québécois dans le domaine de la science et de la technologie. Ces résultats ont été obtenus à partir de mesures prises lorsque des élèves utilisent une simulation informatisée.

## Éclairer le débat par la recherche

La polémique au sujet de la Réforme scolaire québécoise n'a jamais cessé, faute de consensus, même plus d'une décennie après les débuts de sa mise en application. L'un des enjeux au cœur de ces débats est de savoir si cette réforme permet effectivement aux élèves d'être plus compétents.

Pour trouver des éléments de réponse, notamment dans le domaine de la science et de la technologie, plusieurs comparent les performances des élèves québécois « non réformés » avec ceux « réformés » à l'aide des résultats des grandes enquêtes internationales tels que le *Programme international pour le suivi des acquis* (PISA) ou les *Tendances de l'enquête internationale sur la mathématique et les sciences* (TEIMS). Or, ces enquêtes internationales ne peuvent malheureusement pas être considérées comme appropriées pour évaluer les compétences scientifiques. En effet, les questions à choix de réponses ou à court développement que ces tests utilisent ne constituent pas des items optimaux pour l'évaluation de certaines compétences qui requièrent des contextes d'évaluation interactifs. C'est le cas notamment de la compétence à résoudre un problème en science et technologie, car cette compétence et ses composantes reposent sur un processus dynamique et non linéaire qui requiert une interaction entre l'élève et la situation d'évaluation (Blech et Funke, 2005; Elharrar, 2006; MELS, 2010b).

Faute de pouvoir se fier aux enquêtes internationales ou à toutes autres recherches pour comparer la compétence à résoudre un problème d'ordre scientifique ou technologique des élèves québécois « non réformés » et « réformés », les chercheurs de l'EREST ont mis au point une simulation informatisée et une méthodologie spécifiquement conçues à cette fin.
Un laboratoire virtualisé en cuisine

L'interactivité n'est pas la seule dimension nécessaire à l'élaboration d'une bonne situation d'évaluation de la compétence en résolution de problème d'ordre scientifique et technologique. Le contexte est lui aussi très important, car il faut autant que possible éviter certains biais dus à l'influence induite des connaissances antérieures acquises dans des conditions non contrôlées (Kröner, Plass, et Leutner, 2005).

L'approche préconisée consiste donc à créer une simulation informatisée interactive présentant une situation d'évaluation faisant appel à la compétence en résolution de problème d'ordre scientifique et technologique. Le contexte de la simulation est dit *transversal* et ne nécessite pas de connaissances antérieures spécifiques à l'un ou l'autre des domaines disciplinaires de la science et de la technologie. Ainsi, toutes les informations spécifiques nécessaires à la résolution du problème sont soit contenues dans la situation elle-même, soit créées par l'élève à partir de ses interactions avec la simulation informatisée.

Cette approche a mené à création d'une simulation informatisée ludique, baptisée simplement « Jeu de cuisine ». Ce jeu de contrôle de variables expérimentales consiste à déduire la recette idéale de la soupe Taki, en découvrant la quantité optimale des trois légumes qui la compose. Pour y parvenir, l'élève teste ses hypothèses lors d'essais au cours desquels il choisit la quantité de chacun des légumes, puis les tranche en respectant les traits de coupe.

Après chaque essai, un maître goûteur attribue une note en pourcentage à la soupe en fonction de la quantité de chacun des légumes qu'elle contient. Tous ces résultats sont colligés dans un tableau graphique que l'élève doit analyser pour interpréter correctement le goût du maître afin de découvrir sa recette.

L'essentiel du problème posé par notre situation d'évaluation consiste donc à contrôler et à modifier les variables (quantité de légume) pour comprendre leurs effets sur le système (goût de la soupe) dans le but d'atteindre un état optimal (seuil de réussite). Le jeu permet au sujet de tester de manière itérative plusieurs hypothèses en procédant par tâtonnements. Tous ces « essais-erreurs » constituent pour l'élève un corpus de données à analyser et à interpréter pour en déduire la solution. Cette démarche est typique de l'exercice de la compétence en résolution de problème d'ordre scientifique ou technologique.

Par ailleurs, la manipulation d'un couteau virtuel pour couper les légumes a été intégrée à la simulation, entre autres, pour reproduire certains aspects propres aux expérimentations réelles, notamment la nécessité de manipuler avec précision les outils de laboratoire. Ainsi, la coupe des ingrédients est aussi importante que la manipulation de liquides avec des pipettes ou des béchers peut l'être dans un hypothétique laboratoire de chimie.

<figure><img src="image_1.png" /></figure>
Figure 1. Une démarche d'investigation scientifique liée à la compétence de résolution de problème scientifique ou technologique

Notre simulation informatisée a été programmée pour enregistrer en temps réel de nombreux témoins de l'activité des élèves. Les valeurs numériques de ces témoins représentent des scores ou ont été transformées en score pour constituer des indices. Ces indices traduisent soit la performance des élèves, leur vitesse de résolution, leur durée d'observation ou leur stratégie de contrôle des variables. À défaut de pouvoir observer les pensées des élèves, les sept indices retenus sont les meilleures « traces » enregistrables laissées par les élèves pour mesurer leur performance ou inférer des stratégies de résolution de problème. Ces indices ne reflètent pas toutes les composantes de la compétence qui ont été mobilisées par l'élève, mais ils constituent néanmoins les reflets fidèles et objectifs de certaines actions contribuant ou non à la réussite de la tâche conformes aux attentes des programmes. La somme de ces indices compose un score aggloméré qui sert nos analyses statistiques comparatives.

Méthodologie

Au printemps 2009, au moment d'entreprendre une démarche de collecte de données, les élèves de la 5e secondaire constituaient la dernière la cohorte d'élèves « non réformés » encore sur les bancs de l'école. Par conséquent, c'est ce niveau de scolarité qui a été retenu deux ans plus tard pour tester des élèves québécois « réformés ».

Une école privée montréalaise et trois écoles publiques québécoises d'une commission scolaire dans la grande région de Montréal ont accepté d'ouvrir leurs classes pour nous permettre de tester leurs élèves. L'échantillonnage par convenance des écoles a par la suite mené à un échantillonnage en grappes (Fortin et Gagnon, 2010, p. 233) des sujets, les élèves de la 5e secondaire des écoles participantes. Tous les élèves initialement ciblés de ces écoles ont été interpellés. Ce sont exactement les mêmes écoles qui ont participé à la collecte de données en 2009 et en 2011.

Tous les sujets de chaque échantillon étaient libres de participer à l'expérimentation. Toutefois, nous n'avons pas pu utiliser les données recueillies pour l'ensemble des sujets, parce nous ne sommes pas parvenus à obtenir le formulaire de consentement pour environ le quart d'entre eux, même après l'expérimentation. Par conséquent, pour nos analyses, nous avons retenu environ les trois quarts des sujets, soit 468 sujets pour la cohorte de 2009 et 383 sujets pour la cohorte de 2011.
<figure><img src="image_2.png" /><figcaption>Figure 2. Synthèse de la méthodologie</figcaption></figure>

## Résultats

Nos résultats montrent que la cohorte d'élèves réformés performe mieux au test de la simulation informatisée que la cohorte d'élèves non réformés. En effet, la moyenne des scores agglomérés en 2011 (μ = 3,1195) est significativement supérieure à celle de 2009 (μ = 2,9475), même si la magnitude de l'effet demeure très modeste (θ = 0,1633). Par conséquent, les élèves « réformés » de 5e secondaire des écoles échantillonnées ont davantage développé les éléments de la compétence à résoudre un problème scientifique et technologique qui sont évalués par notre simulation que les élèves « non réformés ». De plus, la diminution de l'écart-type, passant de 1,0679 en 2009 à 1,0381 en 2011, indique que le groupe d'élèves réformés est légèrement plus uniforme, car leurs scores sont généralement plus près de la moyenne. Ces différences entre les deux cohortes pourraient être attribuées, entre autres, aux effets du Renouveau pédagogique.

Lorsque les analyses statistiques sont réalisées en fonction des genres, nos résultats montrent que les sujets masculins obtiennent de manière significative un meilleur score (μ = 3,3178) que les sujets féminins (μ = 2,7729). Ces résultats corroborent de nombreuses études qui ont observé des différences significatives de performance entre les garçons et les filles dans le domaine des sciences et de la technologie (Alexakos, 2003; MELS, 2007, 2010a; MEQ, 2001, 2004; OCDE, 2007; Tindall et Hamil, 2004). Cette différence est observée au sein même des élèves de chaque cohorte, toujours à l'avantage des garçons. L'écart tend toutefois à diminuer. La différence des scores moyens (μ) entre les garçons et les filles est de 0,5676 en 2009 et de 0,5148 en 2011. Par conséquent, si la Réforme a des effets sur la performance des élèves à notre test, elle a permis de réduire l'écart, sans toutefois mettre fin aux disparités de performance moyenne entre les genres.

## Conclusion

Globalement, tous les résultats présentés suggèrent que les élèves formés dans le système éducatif québécois du Renouveau pédagogique ont légèrement mieux développé certains éléments de la compétence à résoudre un problème scientifique que ceux qui ne l'ont pas été. Toutefois, cette conclusion doit être jugée à la lumière de certaines limites inhérentes à notre
recherche. En effet, les élèves de la cohorte de 2011 ne sont peut-être pas les plus représentatifs des élèves « réformés », car à cette époque la mise en application de la réforme était encore toute récente. Par ailleurs, faute d'échantillonnage aléatoire, nos résultats ne peuvent être généralisés avec certitude à l'ensemble des élèves du Québec. Enfin, d'autres recherches seraient nécessaires pour confirmer la validité de notre outil d'évaluation. Cependant, au-delà des recherches complémentaires à réaliser, il nous semble que nos résultats peuvent être encourageants pour les concepteurs de programmes, car ils peuvent les interpréter comme un signe qu'il est possible d'orienter un système scolaire par le biais de changements curriculaires, et ce, même si ce changement est difficile à mettre en œuvre et provoque une polémique pareille à celle qu'a connue le Québec au cours des dernières années. Au moins, notre recherche contribuera au débat portant sur l'efficacité et la pertinence de la Réforme grâce à des résultats issus d'une rigoureuse démarche scientifique.

Références

Alexakos, K. (2003). The Gender Gap in Science Education. *Science Teacher*, 70(3), 30-33.

Blech, C. et Funke, J. (2005). Dynamis review: An overview about applications of the Dynamis approach in cognitive psychology. Bonn: German Institute for Adult Education (DIE).

Elharrar, Y. (2006). Évaluation des pratiques d'évaluation et des perceptions des enseignants : l'utilisation d'évaluations alternatives dans le cadre de la réforme d'éducation au Québec. *Thèse de doctorat en psychologie*, 120.

Fortin, M.-F. et Gagnon, J. (2010). *Fondements et étapes du processus de recherche : méthodes quantitatives et qualitatives*. Montréal: Cheneliere Éducation.

Kröner, S., Plass, J. L. et Leutner, D. (2005). Intelligence Assessment with Computer Simulations. *Intelligence*, 33(4), 347-368.

MELS. (2007). *Programme international pour le suivi des acquis - (PISA) 2006 : La performance des jeunes en sciences, en lecture et en mathématique*. Québec: Ministère de l'Éducation, du Loisir et du Sport (MELS).

MELS. (2010a). *Programme international pour le suivi des acquis - (PISA) 2009 : La performance des jeunes en sciences, en lecture et en mathématique*. Québec: Ministère de l'Éducation, du Loisir et du Sport (MELS).

MELS. (2010b). *Science et technologie (2e année du 2e cycle du secondaire)*, science et technologie de l'environnement [programme de formation de l'école québécoise : domaine de la mathématique, de la science et de la technologie*. Québec: Ministère de l'éducation, du loisir et du sport (MELS).

MEQ. (2001). *Programme international pour le suivi des acquis - (PISA) 2000 : La performance des jeunes en sciences, en lecture et en mathématique*. Québec: Ministère de l'Éducation du Québec (MEQ).

MEQ. (2004). *Programme international pour le suivi des acquis - (PISA) 2003 : La performance des jeunes en mathématiques, en lecture, en sciences et en résolution de problèmes*. Québec: Ministère de l'Éducation du Québec (MEQ).

OCDE. (2007). PISA 2006 : les compétences en sciences, un atout pour réussir (pp. 419). Paris: Organisation de coopération et de développement économique (OCDE).

Tindall, T. et Hamil, B. (2004). Gender Disparity in Science Education: The Causes, Consequences, and Solutions. *Education*, 125(2), 282-295.