Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/07200.jsonl.gz/542

Exécution et évaluation d'une recherche design
Sommaire
- 1 Introduction
- 2 Les cartes de conjecture (Sandoval) pour organiser une RDE
- 3 Evaluation dans une recherche orientée design
- 4 Exemples de thèses de type design
- 5 Résumé et pratique
- 6 Références
- 7 Références et bibliographie
1 Introduction
Ce chapitre adresse deux problèmes importants:
- Comment organiser le cadre théorique d'une recherche design ? On proposera d'utiliser les cartes de conjecture de Sandoval
- Comment évaluer un design?
2 Les cartes de conjecture (Sandoval) pour organiser une RDE
La complexité et le caractère situé de la RDE sont liés à l'idée d'itération, i.e. les «expériences» en RDE ne sont pas réalisées une seule fois. Elles sont affinées puis à nouveau «testées» avec des utilisateurs afin d’essayer de comprendre les conjectures exprimées par les variables intermédiaires.
Selon Sandoval (2004a:2), "La conception d’un environnement d'apprentissage comporte des «conjectures incarnées» sur l'apprentissage et l'enseignement, et l'étude empirique de ce type d’environnements permet d'affiner ces conjectures au fil du temps. Le concept de «conjectures incarnées» est une façon de démontrer la nature théorique de la conception d'environnements d'apprentissage, et d'encadrer les questions méthodologiques liées à l'étude de telles conjectures".
Une conjecture incarnée est une conjecture sur la façon dont des propositions théoriques peuvent être réifiées au sein d'environnements conçus selon des méthodes sensées favoriser l'apprentissage. Les environnements ainsi conçus comprennent des outils (comme les logiciels), des matériels et des structures d'activités (que sont définies comme la combinaison de la structure des tâches, de comment une tâche est organisée, et des structures de participation sociale (Erickson, 1982)).
La RDE peut s'organiser grâce à des cartes de conjecture (Sandoval: 2004). Ces cartes permettent de conduire et d'organiser le projet de recherche avec une sorte de carte conceptuelle. Voici un exemple qui permet d'identifier les plus importantes composantes de recherche d'un cadre de rédaction collaborative. Il montre que la recherche est basée sur un ensemble de théories que nous essayons d'incarner dans un design, et que cela mène à des processus (cognitifs de l'apprenant) et, finalement, à des résultats (Figure 52).
Une telle carte peut et devrait être affinée au fil du temps, i.e. les flèches ne devraient pas simplement aller d'une grosse boîte à une autre, mais aussi relier les petites boîtes entre elles. L'idée est que certaines de ces relations devraient alors être testées avec une méthodologie de recherche sérieuse.
Dans la Figure 53, nous présentons un autre exemple qui montre une carte de conjecture pour une seule question de recherche: Dans quelle mesure la Structure de Support Tutoral aide-t-elle à concevoir un apprentissage socio-constructiviste efficace (Class, 2009)? Cet exemple montre qu'un certain nombre de conjectures théoriques définissent comment une structure de support tutoral devrait être mise en oeuvre. Ces éléments théoriques sont alors instanciés comme des conjectures incarnées, i.e. des règles de design pratiques. Les éléments de conception techno-pédagogiques devraient alors favoriser les processus, i.e. ce que les étudiants font. Ces processus devraient à leur tour mener à un meilleur apprentissage.
Comme vous pouvez certainement le déduire de ces deux exemples, de telles cartes de conjecture sont simplement une forme spéciale de carte conceptuelle pour définir des éléments de design et de recherche qui dépendent les uns des autres. En tant que tels, ils sont hautement idiographiques, i.e. les chercheurs doivent apporter leurs meilleures représentations, et cela dépend de l'objectif de recherche global. Il faut également noter que les cartes de conjecture devraient évoluer au fil du temps. E.g. dans le deuxième exemple, vous pouvez voir que les flèches définissent des relations entre des boîtes spécifiques. Ces relations peuvent alors être testées à l'aide de données (si disponibles).
3 Evaluation dans une recherche orientée design
L'évaluation n'est pas une problématique propre à la recherche orientée design. Examinons donc le principe général d’une recherche évaluation. Selon Frechtling et al (2002), cité par Randolph (2008:22), il existe un grand nombre de traditions d'évaluation parmi lesquelles choisir, mais une méthode standard pour conduire une évaluation est constituée des étapes suivantes:
- Développer un modèle conceptuel du programme et identifier les points d'évaluation clés,
- Développer des questions d'évaluation et définir des résultats mesurables,
- Développer un design d'évaluation,
- Recueillir les données,
- Analyser les données,
- Partager les résultats de la recherche avec les publics intéressés.
3.1 Utilisation de grilles d'évaluation
Les designs d’une recherche évaluation suivent souvent la même logique que les designs de recherche orientés vérification de théorie. En technologie éducative, l'évaluation utilise souvent comme référence une "règle de desogm" et cela peut se traduire par une grille d'évaluation de haut niveau. Les principes premiers de Merrill (First Principles of Instruction) constituent un bon exemple pour cette dernière:
- L’environnement d’apprentissage utilise-t-il des problèmes authentiques?
- L’environnement d’apprentissage permet-il d’activer des connaissances ou une expérience préalables?
- L’environnement d’apprentissage montre-t-il ce qui doit être appris?
- Les apprenants peuvent-ils pratiquer et appliquer les connaissances ou les compétences acquises?
- Les apprenants sont-ils encouragés à intégrer (transférer) les nouvelles connaissances ou compétences dans leur vie quotidienne?
Un autre exemple est le LORI (Learning Object Review Instrument) disponible sous forme d'un formulaire en ligne consistant en des rubriques, des échelles d'évaluation et des champs de commentaires. Cet instrument d'évaluation est défini par neuf dimensions:
- Qualité du contenu: véracité, exactitude, présentation équilibrée des idées et niveau de détail approprié.
- Alignement de l'objectif d'apprentissage: alignement des objectifs d'apprentissage, des activités, des évaluations et des caractéristiques des apprenants.
- Feedback et adaptation: contenus adaptatifs ou feedback conduit par une contribution différentielle de l'apprenant ou un modelage de ce dernier.
- Motivation: capacité de motiver et de stimuler l'intérêt ou la curiosité d'une population d'apprenants identifiée.
- Design de la présentation: conception des informations visuelles et auditives pour un apprentissage amélioré et un traitement mental efficace.
- Utilisabilité de l'interaction: facilité de navigation, prédictibilité de l'interface utilisateur et qualité des fonctions d'aide de cette interface.
- Accessibilité: soutien aux apprenants handicapés.
- Réutilisabilité: capacité d'être transféré dans d'autres cours ou dans d'autres contextes d'apprentissage sans modification.
- Conformité aux standards: Respect des standards et des spécifications internationaux
Bien entendu, les règles de design elles-mêmes qui sont derrière de telles grilles d'évaluation peuvent, elles-mêmes, faire l’objet d’une évaluation.
3.2 Méthodologies d'évaluation de l'expérience utilisateur
Lors qu'on crée un design on évalue normalement pas seulement l'utilité, mais également son utilisabilité (ergonomie) et son acceptance.
Les questions de recherche types qu'un chercheur pourrait poser sont les suivantes:
- Dans quelle mesure les utilisateurs (e.g. les étudiants et leurs enseignants) sont-ils satisfaits d'un nouveau LMS?
- De quelles façons, d’un point de vue utilisateurs, une nouvelle intervention pourrait-elle être améliorée?
La méthodologie d’une recherche évaluation s'inspire des différentes approches des sciences sociales pour le recueil et l'analyse de données. E.g., Hkansson cite les méthodes de recueil de données suivantes: heuristique, expériences, questionnaires, entretiens, observations, et la pensée à haute voix.
Les méthodologies d'évaluation sont très différentes selon le type d'objet à évaluer et selon l'objectif de l'évaluation. Nous présenterons simplement deux cadres de travail pour l'analyse d'utilisabilité, car les études sur l'utilisabilité font habituellement partie de la recherche orientée design. Les artéfacts développés devraient être utilisables à la fois en termes d'utilisabilité de surface (les utilisateurs sont capables d'utiliser l'interface) et d'ergonomie cognitive (les utilisateurs sont capables d'utiliser l'interface pour réaliser une tâche réelle).
3.3 Exemple 1: Le modèle d'étude d'utilisabilité Usability Net
Usability Net (http://www.usabilitynet.org/) fournit un cadre de travail complet pour les études d'évaluation de l'utilisabilité. Les procédures d'utilisabilité sont incorporées à tous les stades de développement:
- Planning et faisabilité: pour garantir que les activités d'utilisabilité soient incorporées de manière efficace au design et au processus de développement, et qu'elles influencent les stades précoces de faisabilité du design et du processus de développement.
- Exigences: les utilisateurs et les développeurs identifient des exigences d'utilisabilité qui peuvent être testées plus tard dans le processus de développement.
- Design: créer et développer un design d'interface utilisateur qui est fondé sur la spécification des exigences, et qui vienne en aide à l'utilisateur dans les tâches à réaliser.
- Mise en oeuvre: garantir que le design détaillé tienne compte des principes d'utilisabilité.
- Tests et mesures: évaluer dans quelle mesure les exigences de l'utilisateur et de l'organisation ont été remplies, et fournir un feedback dans une forme qui peut être utilisée par les designers et les développeurs pour améliorer le design de l'interface utilisateur.
- Après le lancement / la mise en service: suivre l'utilisabilité du système après son lancement pour garantir qu'il répond aux besoins de l'utilisateur sur le terrain. Ce suivi devrait être utilisé comme données supplémentaires dans les exigences pour une nouvelle version ou parution.
La Figure 54: Cadre de travail Usability dresse la liste des méthodes qui peuvent être utilisées à chaque stade du design.
Pourquoi vous présenter ce modèle? Pour vous montrer que l'évaluation, dans un processus de conception, est fortement liée au processus de conception de l’ensemble de l’environnement. A chaque étape de la conception, il est nécessaire de penser à l'évaluation. Par exemple, si les utilisateurs ne participent pas à la phase "exigences", il sera difficile de mettre en oeuvre un programme de tests et mesures car on ne saura pas clairement quels critères utiliser.
Il existe d’autres approches pour étudier l’utilisabilité. Pour quelques détails, consulter: http://edutechwiki.unige.ch/fr/Utilisabilit%C3%A9 et http://edutechwiki.unige.ch/en/Methodology_tutorial_-_design-oriented_research_designs pour la méthode de Nielson par exemple.
4 Exemples de thèses de type design
- Class, B. (2009). A blended socio-constructivist course with an activity-based, collaborative learning environment intended for trainers of conference interpreters. Université de Genève. http://archive-ouverte.unige.ch/unige:4780
- Lombard, F. (2012). Conception et analyse de dispositifs d’investigation en biologie : comment conjuguer autonomie dans la validation scientifique, approfondissement conceptuel dans le paradigme et couverture curriculaire ? http://archive-ouverte.unige.ch/unige:24656
- Ortoleva, G. (2015). Writing to share, sharing to learn: Technology-enhanced learning activities to foster professional development in initial vocational education. (Thèse en cours).
5 Résumé et pratique
6 Références
Sandoval, William A. & Philip Bell (2004), Design-Based Research Methods for Studying Learning in Context: Introduction, Educational Psychologist, Vol. 39, No. 4: pages 199-201. doi:10.1207/s15326985ep3904_3