# Exploitation de l'Intelligence Artificielle Générative pour les Activités Éducatives en Réalité Mixte

Mohammed Oussama Seddini, Mohamed Ez-Zaouia, Iza Marfisi-Schottman

► To cite this version:

Mohammed Oussama Seddini, Mohamed Ez-Zaouia, Iza Marfisi-Schottman. Exploitation de l'Intelligence Artificielle Générative pour les Activités Éducatives en Réalité Mixte. EIAH 2025 - 12ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain / Atelier GT Apprentissage et Éducation, Jun 2025, Lille, France. hal-05167947

HAL Id: hal-05167947

https://inria.hal.science/hal-05167947v1

Submitted on 17 Jul 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Exploitation de l'Intelligence Artificielle Générative pour les Activités Éducatives en Réalité Mixte

Mohammed Oussama Seddini¹,², Mohamed Ez-zaouia², Iza Marfisi-Schottman¹

¹ LIUM, Université du Mans
mohammed_oussama.seddini.etu@univ-lemans.fr,
iza.marfisi@univ-lemans.fr

² IRISA, Université de Rennes
mohamed.ez-zaouia@univ-rennes.fr

**Résumé.** Cet article explore l'utilisation de l'IA générative pour créer des activités éducatives en Réalité Mixte (RM). Un prototype intégrant trois modules (IA Prompteur, IA Chat, IA Tuteur) aide les enseignants à concevoir des activités en générant du contenu multimodal et en offrant des expériences immersives. Évalué lors d'une étude préliminaire, le prototype montre un potentiel prometteur tout en mettant en évidence des limitations techniques à améliorer.

**Mots-clés** : Outil auteur, Intelligence Artificielle Générative, Modélisation de Langage de Grande Échelle, Réalité Mixte, Éducation.

## 1 Introduction

La Réalité Mixte (RM) combine éléments réels et virtuels, facilitant la compréhension de concepts complexes souvent inaccessibles par des méthodes traditionnelles [1]. Cependant, la création d'activités pédagogiques intégrant de la RM reste difficile pour les enseignants, faute de compétences techniques. Les outils auteurs simplifient ce processus, mais ne permettent pas de générer facilement des ressources comme des images ou objets 3D [2]. L'Intelligence Artificielle Générative (IA), quant à elle, permet la création de contenu via des instructions en langage naturel et offre une assistance interactive [3]. Elle est déjà intégrée dans des applications comme Gmail et Canva, et certains outils éducatifs pour personnaliser l'apprentissage[4]. Afin de combler ce manque, nous avons développé MIXAP-IA, une extension de MIXAP [5], un outil auteur permettant aux enseignants de concevoir facilement des activités pédagogiques en RM. MIXAP-IA enrichit cet outil avec des modules d'IA pour accompagner la création et la personnalisation d'activités éducatives.

## 2 Description du système

MIXAP-IA propose une interface intuitive avec deux modes : le mode Canva pour qui permet aux enseignants de créer des activités en prenant en photo la ressource pédagogique (qui servira de marqueur pour la RM) et en ajoutant les ressources (images, texte, modèle 3D) qui s'afficherons en RA, et le mode ARView pour qu'ils puissent tester ces acticités tel qu'elle seront vu par les apprenants (figure 1.a). L'outil propose trois modules d'IA connectés à une base de connaissances (figure 1.b). Ces modules — IA Prompteur, IA Chat et IA Tuteur — seront détaillés dans la suite avec les figures associées.
<figure><img src="image_2.png" /><figcaption>Fig. 1.a. Exemple d'usage de MIXAP</figcaption></figure>

<figure><img src="image_3.png" /><figcaption>Fig. 1.b. Architecture des modules d'IA</figcaption></figure>

**IA Prompteur** utilise les LLM d'OpenAI pour générer des contenus multimodaux (sons, images, textes) via des prompts en français dans MIXAP (Figure 2). Par exemple, après avoir pris la photo d'une carte avec un lion, l'enseignant génère automatiquement une image, un fichier audio ou texte via IA pour apporter des informations complémentaires sur cet animal.

<figure><img src="image_4.png" /><figcaption>Fig. 2. Exemple d'utilisation du module AI Prompteur</figcaption></figure>

**IA Chat** propose des suggestions d'activités, en temps réel, basées sur le support pédagogique qui sert de marqueur (Figure 3). Par exemple, si l'enseignant prend en photo un planisphère, l'IA peut générer une description ou des faits historiques en lien avec les pays, ajustables par l'enseignant. Ce module facilite l'idéation en proposant des contenus pédagogiques en lien avec la ressource pédagogique.
<figure><img src="image_5.png" /><figcaption>Fig. 3. Exemple d'utilisation du module AI Chat pour créer des activités</figcaption></figure>

IA Tuteur offre des expériences d'apprentissage personnalisées selon les interactions de l'apprenant avec la scène (Figure 4). Par exemple, quand l'apprenant pointe un continent du doigt, et utilise des cartes questions (qui peuvent être écrite par l'enseignant mais aussi par l'apprenant lui-même), l'IA propose des réponses contextuelles, créant ainsi des expériences d'apprentissage uniques.

<figure><img src="image_6.png" /><figcaption>Fig. 4. Exemple d'utilisation du IA Tuteur pour créer des expériences d'apprentissage unique</figcaption></figure>

# 3 Étude préliminaire

## 3.1 Contexte de l'étude

Un enseignant de SVT, habitué aux outils numériques, a testé pendant 75 minutes un prototype fonctionnel de MIXAP-IA en concevant et expérimentant quatre activités éducatives intégrant les modules d'IA. Ces activités, basées sur divers supports (photos, cartes, étiquettes), portaient sur l'impression 3D, les plaques tectoniques et la géographie, avec des exercices interactifs et des corrections automatiques.
## 3.2 Résultats

L'étude montre que les modules d'IA enrichissent les activités éducatives tout en nécessitant des améliorations. IA Prompteur a simplifié la création de ressources multimodales. L'enseignant a aussi pu apporter des ajustements à ces ressources pour assurer leur pertinence. IA Chat a proposé des idées contextualisées, mais nécessite une validation humaine. IA Tuteur a été efficace pour les interactions immersives, malgré des limites de reconnaissance en basse lumière et des performances variables selon la langue.

## 4 Conclusion

Cet article explore comment l'IA facilite la création d'activités éducatives en RM. Les modules simplifient la production de contenu multimodal et offrent des expériences immersives personnalisées. L'étude met en évidence des limites liées à la précision du contenu, à la reconnaissance visuelle et à la gestion des langues, mais ces modules montrent un fort potentiel pour transformer les pratiques pédagogiques.

## 5 Remerciement

Nous remercions le consortium Ikigai porté par l'association Games for Citizens, la société Gamaizer ainsi que le projet FORTEIM (projet lauréat AMICMA France 2030) pour leur soutien et leur collaboration. Le projet est également financé, en partie, par le projet ERASMUS+ MIXAP-EU. Enfin, nous tenons à remercier Tony NEVEU pour sa participation à l'étude préliminaire.

## References

1. Akçayır, M., & Akçayır, G. (2017). Advantages and challenges associated with augmented reality for education: A systematic review of the literature. Educational research review, 20, 1-11.

2. Ez-Zaouia, M., Marfisi-Schottman, I., & Mercier, C. (2023, April). Authoring Tools: The Road To Democratizing Augmented Reality For Education. In Proceedings of the 15th International Conference on Computer Supported Education (Vol. 1, pp. 115-127).

3. Chiu, T. K. (2023). The impact of Generative AI (GenAI) on practices, policies and research direction in education: A case of ChatGPT and Midjourney. Interactive Learning Environments, 1-17.

4. Utami, Silvia & Karnedi, Karnedi. (2024). Enhancing students' writing paragraphs through Canva Magic AI. Leksika: Jurnal Bahasa, Sastra dan Pengajarannya. 18. 10.30595/lks.v18i2.23475.

5. Ez-Zaouia, M., Marfisi-Schottman, I., & Mercier, C. (2023, June). MIXAP: Un outil auteur d'activités éducatives en réalité augmentée. In Environnements informatiques pour l'apprentissage humain (EIAH)