APPLICATION OF MULTIMEDIA LEARNING
PRINCIPLES IN VIRTUAL REALITY: EVALUATION
OF SIGNALLING, FEEDBACK, AND MODALITY
EFFECT

Noé Monsaingeon, Laurie Porte, Jean-Michel Boucheix

► To cite this version:

Noé Monsaingeon, Laurie Porte, Jean-Michel Boucheix. APPLICATION OF MULTIMEDIA LEARNING PRINCIPLES IN VIRTUAL REALITY: EVALUATION OF SIGNALLING, FEEDBACK, AND MODALITY EFFECT. 2024. hal-04680223

HAL Id: hal-04680223

https://hal.science/hal-04680223v1

Submitted on 28 Aug 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# QUELLE APPLICATION DES PRINCIPES DE L'APPRENTISSAGE MULTIMEDIA EN REALITE VIRTUELLE ? EVALUATION DE LA SIGNALISATION, DU FEEDBACK ET DE L'EFFET DE MODALITE

Noé Monsaingeon, Laurie Porte & Jean-Michel Boucheix

Laboratoire d'Etude de l'Apprentissage et du Développement (LEAD UMR5022), Université de Bourgogne, Dijon, France

Bien que la réalité virtuelle immersive (RVI) permette d'immerger des élèves dans une leçon, ses effets sur l'apprentissage sont hétérogènes. L'application des principes de l'apprentissage multimédia permettrait d'adapter les contenus en RVI aux capacités cognitives des apprenants. Dans le cadre d'un projet sur l'apprentissage de la forêt par le numérique, deux études expérimentales auront lieu. L'Expérience 1 sera réalisée auprès de collégiens et opposera l'application du principe de modalité en RVI et sur écran. Selon ce principe, l'apprentissage est facilité lorsqu'un contenu imagé est accompagné d'une narration vocale, comparé à lorsqu'il est accompagné d'un texte. Des mesures d'apprentissages et de comportement oculaire seront réalisées pendant une leçon en RVI ou sur écran, avec narration vocale ou avec texte. Il est attendu une inversion de l'effet de modalité en RVI, avec un bénéfice du contenu accompagné du texte comparé à la narration vocale. En revanche, le support écran devrait montrer des bénéfices de la narration vocale comparé au texte. L'Expérience 2 s'intéressera à l'application du principe de guidage par la signalisation et du principe de feedback. Des élèves en formation sur des métiers de la forêt auront pour tâche d'explorer 3 zones forestières en RVI et de déterminer laquelle est la plus adaptée pour accueillir des visiteurs. La signalisation consistera à guider l'attention des apprenants avec des indices visuels. Les feedbacks immergeront, en RVI, les apprenants dans les conséquences de leur décisions. La qualité de la décision sera évaluée et les comportements oculaires mesurés. Sont attendu des effets bénéfiques de la signalisation et du feedback sur la qualité de la décision et sur la répartition de l'attention sur des zones pertinentes. Ces études permettrons d'éclairer le potentiel éducatif de nouvelles technologies et d'améliorer leur usage dans l'apprentissage.
APPLICATION OF MULTIMEDIA LEARNING PRINCIPLES
IN VIRTUAL REALITY: EVALUATION OF SIGNALLING,
FEEDBACK, AND MODALITY EFFECT

Noé Monsaingeon, Laurie Porte & Jean-Michel Boucheix

Laboratoire d'Etude de l'Apprentissage et du Développement (LEAD UMR5022), University of Bourgogne, Dijon, France

While immersive virtual reality (IVR) allows students to be immersed in a lesson, its effects on learning are heterogeneous. Applying principles of multimedia learning could adapt IVR content to learners' cognitive abilities. As part of a project on digital forest learning, two experimental studies will be conducted. Experiment 1, involving secondary school students, will compare the application of the modality principle in IVR and on a screen. According to this principle, learning is facilitated when visual content is accompanied by vocal narration compared to text. Measurements of learning and eye behaviour will be conducted during a lesson in IVR or on a screen, with vocal narration or with text. A reversed modality effect in IVR is expected, with a benefit of text-accompanied content over vocal narration. Contrary, the screen condition should show benefits of vocal narration compared to text. Experiment 2 will focus on applying the signaling and feedback principles. Students training for forest-related professions will explore three forest areas in IVR and determine the most suitable for visitors. Signaling will guide learners' attention with visual cues, and feedback in IVR will immerse learners in the consequences of their decisions. Decision quality will be evaluated, and eye behaviors measured. Beneficial effects of signaling and feedback are expected on decision quality and attention distribution to relevant areas. These studies will shed light on the educational potential of new technologies and improve their usage in learning.