<figure><img src="image_1.png" /></figure>

# Conception et évaluation d'un agent conversationnel enrichi par la génération augmentée par récupération : effet sur l'acquisition des connaissances des personnes apprenantes, l'utilisabilité perçue et l'expérience d'interaction

Design and Evaluation of a Conversational Agent Enriched by Retrieval-Augmented Generation: Effect on Learners' Knowledge Acquisition, Perceived Usability and Interaction Experience

https://doi.org/10.18162/ritpu-2025-v22n1-08

Fatma MILADI ☒ Université TÉLUQ, Canada

Valéry PSYCHÉ ☒ Université TÉLUQ, Canada

Awa DIATTARA ☒ Université Gaston Berger, Sénégal

Nour EL MAWASª ☒ Université de Lorraine, France

Daniel LEMIRE ☒ Université TÉLUQ, Canada

Mis en ligne : 13 mai 2025

## Résumé

L'intelligence artificielle (IA) a considérablement évolué ces dernières années, notamment avec l'apparition des grands modèles de langage (LLM), tels que les modèles de la famille des transformeurs génératifs préentraînés (generative pre-trained transformer [GPT]). Ces modèles, capables de générer du texte fluide et contextuel, montrent un potentiel prometteur pour transformer divers secteurs, y compris l'éducation. Cependant, leur application en contexte éducatif présente certaines limites, notamment les « hallucinations », ou génération d'informations incorrectes, qui peuvent nuire à l'expérience d'apprentissage des personnes apprenantes. Pour atténuer ces limitations, la génération augmentée par récupération (RAG) a été intégrée aux modèles de langage. Cette approche associe les capacités des LLM à une récupération d'informations issues d'une base de connaissances préconstruite, alimentée par des documents appropriés, afin d'améliorer la précision, la pertinence et la fiabilité des réponses générées. Toutefois, l'application des modèles de langage enrichis par la RAG dans des contextes éducatifs, notamment les MOOC, demeure peu étudiée, en particulier quant à leur influence sur l'acquisition des connaissances et l'expérience d'interaction des personnes apprenantes.

Nous avons conçu et développé un agent conversationnel, alimenté par GPT-4 et enrichi par la RAG, offrant un soutien en temps réel et contextuellement pertinent aux personnes apprenantes

<figure><img src="image_2.png" /></figure>

<footnote>(a) Crem, F-57000 Metz.</footnote>
dans le cadre d'un MOOC. Cet agent est capable d'accompagner les personnes apprenantes dans la clarification de concepts complexes tout en les guidant tout au long de leur parcours d'apprentissage. Notre agent conversationnel a été évalué auprès de 25 personnes apprenantes inscrites à un MOOC. L'analyse des résultats a révélé une amélioration significative de l'acquisition des connaissances dans le groupe expérimental par rapport au groupe contrôle. De plus, l'agent conversationnel a obtenu un score élevé sur l'échelle d'utilisabilité du système (SUS), indiquant une perception positive de son utilisabilité. Les entretiens semi-structurés ont mis en évidence une expérience d'interaction globalement favorable avec l'agent. Ces résultats soulignent le potentiel des agents conversationnels dotés d'IA générative et enrichis par la RAG pour améliorer l'apprentissage dans les environnements d'apprentissage en ligne, y compris les MOOC. Ils ouvrent également la voie à des recherches futures sur leur rôle en tant que compagnons d'apprentissage.

## Mots-clés

Agent conversationnel, IA générative, génération augmentée par récupération (RAG), cours en ligne ouvert à tous (MOOC), intelligence artificielle dans l'éducation

## Abstract

Artificial intelligence (AI) has significantly evolved in recent years, particularly with the emergence of large language models (LLMs) such as the *generative pre-trained transformer* (GPT) family. These models, capable of generating fluent and contextually relevant text, show promising potential for transforming various sectors, including education. However, their application in educational contexts presents certain limitations, notably hallucinations, or the generation of incorrect information, which can negatively impact learners' learning experience.

To mitigate these limitations, Retrieval-Augmented Generation (RAG) has been integrated into the language models. This approach enhances the accuracy, relevance and reliability of generated responses by combining LLM capabilities with information retrieval from a pre-constructed knowledge base enriched with relevant documents. However, the application of RAG-enhanced language models in educational settings, particularly in MOOCs, remains underexplored, especially regarding their impact on knowledge acquisition and learners' interaction experience.

In this study, we designed and developed a GPT-4-powered, RAG-enhanced conversational agent to provide real-time, contextually relevant support to learners in a MOOC. This agent helps learners to clarify complex concepts while guiding them throughout their learning process. Our conversational agent was evaluated with 25 learners enrolled in a MOOC. An analysis of the results revealed that knowledge acquisition was significantly improved in the experimental group compared to the control group. Additionally, the conversational agent received a high score on the *System Usability Scale* (SUS), indicating a positive perception of its usability. Semi-structured interviews further highlighted a generally favorable interaction experience with the agent.

These findings underscore the potential of generative AI-powered conversational agents enriched with RAG to enhance learning in online learning environments, including MOOCs. They also pave the way for future research on the role of such agents as intelligent learning companions, capable of adapting their support to learners' specific needs.

## Keywords

Conversational Agent, Generative AI, Retrieval-Augmented Generation (RAG), Massive Open Online Course (MOOC), artificial intelligence in education
# Introduction

L'émergence des grands modèles de langage (LLM), qui sont des réseaux de neurones entraînés sur d'immenses volumes de données textuelles, a révolutionné le domaine de l'intelligence artificielle (IA), notamment dans le traitement du langage naturel (TLN) (Brown et al., 2020; Vaswani, 2017). Le TLN est un domaine de l'IA qui permet aux ordinateurs de comprendre et de générer le langage humain de manière naturelle, facilitant des interactions plus fluides et contextuelles avec les utilisateurs et utilisatrices (Jurafsky et Martin, 2000). Conçus pour cette tâche, les LLM, comme le transformeur génératif préentraîné (GPT), ouvrent la voie à une large gamme d'applications, de la traduction automatique au résumé de texte, en passant par l'analyse de sentiments. Leur capacité à fournir des réponses cohérentes a transformé les interactions homme-machine et ouvert de nouvelles perspectives dans divers secteurs.

Dans le domaine de la finance, par exemple, les LLM facilitent l'analyse prédictive et stratégique en exploitant de vastes ensembles de données financières pour améliorer les décisions stratégiques (Wu et al., 2023). Dans le secteur de la santé, des LLM jouent un rôle essentiel dans l'analyse des dossiers médicaux électroniques, en extrayant des informations précises, ce qui améliore la qualité des soins (Yang et al., 2022). Dans le domaine de l'éducation, les LLM se sont révélés particulièrement prometteurs, facilitant la création de contenus pédagogiques tels que des tests éclair (Dijkstra et al., 2022) et l'accompagnement des personnes apprenantes par des agents conversationnels (Abdelghani et al., 2024; Xie et al., 2024).

Malgré leurs potentialités, les LLM présentent des limitations, notamment leur tendance aux « hallucinations », c'est-à-dire la génération de contenus incorrects ou hors contexte (Alkaissi et McFarlane, 2023; Ji et al., 2023). Dans un cadre éducatif, où la fiabilité des informations est essentielle à la qualité de l'apprentissage, ces erreurs peuvent compromettre la compréhension des personnes apprenantes et fausser leur apprentissage.

Pour surmonter ces limites, la génération augmentée par récupération (RAG) a été introduite (Lewis et al., 2020). Contrairement aux LLM traditionnels, qui s'appuient uniquement sur les données accumulées durant leur entraînement, la RAG permet d'accéder en temps réel à une base de connaissances préconstruite contenant des documents validés. Cela améliore la précision et la pertinence des réponses en fournissant au modèle des informations appropriées et spécifiques (Lewis et al., 2020). En récupérant des extraits pertinents de cette base de connaissances et en les intégrant dans le processus de génération, les systèmes de RAG visent à réduire les erreurs d'hallucination tout en garantissant un contenu mieux adapté aux besoins des personnes apprenantes. Ces systèmes se révèlent particulièrement utiles dans les contextes éducatifs, où l'accès à des informations fiables et contextualisées est essentiel.

L'application de la RAG aux LLM ouvre de nouvelles perspectives dans le développement d'agents conversationnels pédagogiques performants et fiables. Ces agents conversationnels, conçus pour interagir avec les utilisateurs et utilisatrices en langage naturel, présentent un potentiel unique pour l'éducation. Ils permettent de mener des dialogues personnalisés avec les personnes apprenantes et de fournir un soutien individualisé tout au long du processus d'apprentissage (Kestin et al., 2024). Ce soutien individualisé est primordial pour répondre aux besoins variés des personnes apprenantes et les accompagner de manière efficace dans leurs parcours éducatifs. Les recherches récentes ont démontré l'efficacité des agents conversationnels enrichis par la RAG pour améliorer la qualité des réponses, réduire les erreurs d'hallucination et offrir des explications précises et transparentes (Taneja et al., 2024; Yan et al., 2024).
Toutefois, malgré ces avancées, les études empiriques sur l'impact des agents conversationnels enrichis par la RAG dans les environnements éducatifs restent limitées. La plupart des recherches se concentrent sur des métriques techniques, telles que la précision et la pertinence des réponses, sans évaluer leur influence sur l'apprentissage des personnes apprenantes. Ce manque de recul sur leur efficacité pédagogique est d'autant plus préoccupant dans les environnements d'apprentissage à distance tels que les cours en ligne ouverts à tous (MOOC), où l'interaction avec un enseignant ou une enseignante est souvent réduite. Dans ce contexte, où l'autonomie est essentielle, l'intégration d'agents conversationnels pourrait jouer un rôle clé dans l'accompagnement des personnes apprenantes.

Les MOOC offrent un apprentissage flexible et autonome à un large public (Yuan et Powell, 2013). Toutefois, cette autonomie s'accompagne de défis majeurs, notamment en matière de suivi et de soutien aux personnes apprenantes. L'absence de rétroaction immédiate et de soutien personnalisé peut entraîner une démotivation et une baisse des taux de rétention (Hone et El Said, 2016). De plus, le sentiment d'isolement est particulièrement marqué dans ce contexte (Bulger et al., 2015). L'éloignement des pairs et des enseignants et enseignantes réduit l'engagement et augmente le risque d'abandon (Papi et al., 2022). Bien que les forums de discussion visent à pallier ce manque d'interaction, leur taux de participation demeure faible, variant de 5 % à 12 % (Chiu et Hew, 2018). Face à ces limites, le développement d'outils pédagogiques interactifs apparaît comme une solution nécessaire pour mieux accompagner les personnes apprenantes dans les MOOC.

Parmi ces outils, les agents conversationnels enrichis par la RAG se distinguent par leur capacité à fournir des réponses contextualisées, adaptées aux besoins des personnes apprenantes et susceptibles d'améliorer leur engagement dans l'apprentissage. Pourtant, leur influence sur l'acquisition des connaissances des personnes apprenantes et l'expérience d'interaction reste peu étudiée. Des recherches approfondies sont nécessaires pour mieux comprendre leur contribution à l'apprentissage en ligne et optimiser leur conception pour un accompagnement plus efficace des personnes apprenantes.

Dans une recherche précédente, nous avons évalué l'impact de l'intégration de la RAG dans les modèles GPT-4 et GPT-3.5 sur la précision des réponses aux exercices d'un MOOC sur l'IA (Miladi et al., 2024). Les résultats ont montré que les modèles GPT enrichis par la RAG surpassaient leurs versions non enrichies en matière de performance, suggérant que l'intégration de la RAG améliore significativement la précision et la pertinence des réponses générées.

Dans cette recherche, nous examinons comment un agent conversationnel basé sur GPT et enrichi par la RAG influence trois dimensions essentielles : l'acquisition des connaissances, l'expérience d'interaction et l'utilisabilité perçue par les personnes apprenantes dans un MOOC sur l'IA. Cette étude vise ainsi à mieux comprendre le potentiel pédagogique des agents conversationnels enrichis par la RAG dans l'apprentissage en ligne. Les questions de recherche (QR) suivantes guident notre investigation :

- QR1. L'utilisation d'un agent conversationnel enrichi par GPT et la RAG influence-t-elle l'acquisition des connaissances des personnes apprenantes dans le MOOC?

- QR2. Un agent conversationnel enrichi par GPT et la RAG peut-il répondre aux attentes des personnes apprenantes en matière d'utilisabilité?

- QR3. Comment les personnes apprenantes perçoivent-elles l'expérience d'interaction avec un agent conversationnel enrichi par GPT et la RAG dans un environnement de MOOC?

Sur la base des questions de recherche ci-dessus, nous formulons les hypothèses (H) suivantes :
- **H1 (acquisition des connaissances)**. Les personnes apprenantes utilisant l'agent conversationnel enrichi par GPT et la RAG montreront une amélioration significative dans l'acquisition de leurs connaissances, comparativement à celles qui ne bénéficient pas de cet agent.

- **H2 (utilisabilité)**. L'agent conversationnel enrichi par GPT et la RAG sera perçu comme ayant une utilisabilité élevée par les personnes apprenantes.

- **H3 (expérience d'interaction)**. Les personnes apprenantes évalueront l'expérience d'interaction avec l'agent conversationnel enrichi par GPT et la RAG de manière globalement positive.

Ces hypothèses serviront de base à l'analyse des données collectées et permettront de tester empiriquement l'effet de l'agent conversationnel sur l'acquisition des connaissances, la perception de son utilisabilité et l'expérience d'interaction des personnes apprenantes dans un environnement de MOOC.

# 1. Revue de la littérature

Cette revue de la littérature examine le rôle des agents conversationnels en éducation. Elle analyse également l'apport des agents conversationnels basés sur les LLM pour enrichir les interactions ainsi que l'intégration de la RAG dans ces systèmes pour améliorer la précision et la fiabilité des réponses.

## 1.1 Agents conversationnels en éducation

Les agents conversationnels basés sur l'IA ont considérablement transformé le paysage éducatif en introduisant des méthodes d'apprentissage interactives, engageantes et personnalisées (Kerlyl et al., 2006; Ruan et al., 2019; Wollny et al., 2021). Certaines études ont également démontré leur efficacité dans l'optimisation de la collaboration éducative en groupe. Par exemple, Tegos et al. (2011) ont développé un agent conversationnel configuré pour fournir un soutien adaptatif dans des contextes collaboratifs, en ajustant ses interventions afin de maintenir des interactions constructives et orientées vers des objectifs pédagogiques. Par ailleurs, plusieurs recherches soulignent la capacité des agents conversationnels à détecter les lacunes des personnes apprenantes et à offrir un accompagnement pédagogique personnalisé. Ainsi, González-Castro et al. (2021) ont conçu un agent conversationnel intégré à un MOOC capable d'ajuster les contenus et les interactions pour répondre aux difficultés spécifiques des personnes apprenantes, tout en recevant des retours positifs sur son utilisabilité. De manière similaire, Gaglo et al. (2021) ont montré que les agents conversationnels peuvent jouer un rôle clé dans la remédiation éducative, c'est-à-dire la détection des lacunes des personnes apprenantes et leur accompagnement vers des contenus adaptés pour améliorer leurs compétences. Cette approche permet de maintenir la continuité des apprentissages et de compenser les difficultés d'accès aux enseignants et enseignantes ou aux ressources pédagogiques.

## 1.2 Agents conversationnels basés sur les LLM en éducation

Avec l'émergence des LLM, comme ChatGPT, une nouvelle génération de solutions pédagogiques promet des interactions plus riches et adaptées aux besoins des personnes apprenantes. Par exemple, Abdelghani et al. (2024) ont démontré que GPT-3 peut être intégré dans une plateforme éducative pour entraîner les enfants à poser des questions divergentes, un aspect essentiel pour stimuler la réflexion critique et l'apprentissage actif. Ces chercheuses et chercheurs ont conçu un
agent conversationnel capable de générer automatiquement des indices pédagogiques adaptés et ont montré que ces indices encouragent la curiosité et améliorent les compétences des enfants. Cette étude met en lumière l'importance de combiner les capacités des LLM avec des cadres pédagogiques structurés afin d'optimiser leur impact sur l'apprentissage.

Xie et al. (2024) ont étudié l'impact des agents conversationnels basés sur les LLM sur l'autonomie des personnes apprenantes. Leur étude établit deux types d'usages distincts : certaines personnes apprenantes perçoivent ces agents comme des compagnons virtuels, ce qui renforce leur autonomie en raison d'un sentiment accru de présence sociale. En revanche, pour celles qui privilégient l'acquisition de connaissances, des interactions trop fréquentes avec l'agent conversationnel peuvent entraîner une diminution de la perception de présence sociale et, par conséquent, une réduction de leur autonomie d'apprentissage. Ces résultats mettent en évidence la nécessité d'un équilibre entre le soutien émotionnel, qui favorise la présence sociale, et l'apport cognitif, qui soutient l'acquisition de connaissances, afin d'optimiser l'expérience éducative.

Les agents conversationnels basés sur les LLM ont également été explorés pour leur rôle dans le renforcement des interactions sociales dans les MOOC, offrant un potentiel pour réduire les taux d'abandon. Par exemple, Li et Xing (2021) ont montré que GPT-2 peut être utilisé pour soutenir les interactions sur les forums de discussion des MOOC en fournissant des réponses automatisées à la fois émotionnelles, informatives et communautaires. L'étude a évalué la qualité de ces réponses sur des critères tels que la lisibilité, la cohérence et la pertinence, et a constaté qu'elles étaient proches de celles générées par des pairs humains. De plus, les personnes apprenantes ont évalué l'agent conversationnel au moyen d'un questionnaire mesurant leur satisfaction quant à l'utilité et à la pertinence des réponses fournies. Ainsi, ces résultats soulignent le potentiel des LLM pour améliorer la dynamique sociale et favoriser l'engagement des personnes apprenantes dans des environnements d'apprentissage en ligne, grâce à des interactions visibles et accessibles à tous les participants et participantes du forum.

Kerlyl et al. (2006) ont démontré que les tuteurs basés sur LLM peuvent surpasser les méthodes d'apprentissage traditionnelles en matière de gains d'apprentissage et de motivation des personnes apprenantes. Leur étude, réalisée avec des étudiants et étudiantes en physique, a révélé que l'utilisation d'un tuteur IA doublait les gains d'apprentissage, grâce à des retours personnalisés et immédiats.

Malgré leur potentiel, les LLM présentent des limites importantes, notamment leur tendance aux « hallucinations » (Alkaissi et McFarlane, 2023; Ji et al., 2023). Ces erreurs, particulièrement problématiques dans un cadre éducatif où la fiabilité des informations est essentielle, peuvent perturber la compréhension des personnes apprenantes et compromettre la qualité de leur apprentissage. Pour remédier à ces limitations, la RAG a été introduite. Cette méthode permet aux LLM de s'appuyer sur des bases de connaissances externes validées, améliorant ainsi la précision, la pertinence et la fiabilité des réponses (Lewis et al., 2020).

## 1.3 Agents conversationnels basés sur la RAG en éducation

La RAG joue un rôle important dans l'amélioration de la précision et de la pertinence des LLM dans des contextes éducatifs. Par exemple, Wang et al. (2023) ont développé ChatEd, un agent conversationnel conçu pour l'enseignement supérieur combinant un système de récupération d'information contextuelle avec ChatGPT. L'évaluation de ChatEd s'est basée sur trois critères principaux : la pertinence, l'exactitude et l'utilité des réponses fournies. Comparé à ChatGPT seul, ChatEd a obtenu des scores significativement plus élevés sur ces dimensions, grâce à son
intégration d'un cadre de récupération contextuelle qui permet d'aligner les réponses sur le contenu spécifique des cours. Ces résultats soulignent l'avantage de combiner des modèles de langage avancés avec une base de données contextuelle pour améliorer l'apprentissage dans des environnements éducatifs.

De même, Liu et al. (2024) ont développé le CS50 Duck, un agent conversationnel basé sur GPT-4 et enrichi par la RAG, intégré au cours pour soutenir les étudiants et étudiantes. Cet agent a démontré une meilleure capacité à fournir des réponses précises et adaptées au contenu du cours par rapport à ChatGPT. Les étudiantes et étudiants l'ont perçu comme un tuteur personnel efficace et engageant, exprimant une forte satisfaction lors des évaluations réalisées à l'aide de questionnaires. Ils ont particulièrement apprécié la clarté des explications fournies par l'outil et sa capacité à répondre de manière pertinente à leurs questions.

Taneja et al. (2024) ont présenté Jill Watson, un assistant d'enseignement virtuel qui utilise la RAG pour fournir des réponses contextualisées à partir de ressources pédagogiques, réduisant ainsi les hallucinations et améliorant la précision des réponses. L'étude a comparé Jill Watson à des assistants virtuels dépourvus de RAG, démontrant une amélioration significative de la qualité des réponses et une réduction des erreurs.

Toutefois, malgré ces avancées prometteuses, les recherches actuelles restent majoritairement centrées sur des métriques techniques telles que la précision, la pertinence contextuelle et la clarté des réponses. Ces travaux négligent souvent l'exploration de l'effet direct de ces technologies sur l'apprentissage des personnes apprenantes dans des environnements éducatifs réels tels que les MOOC.

La présente recherche vise à combler ces lacunes en examinant l'effet d'un agent conversationnel enrichi par la RAG dans un MOOC. L'objectif est d'évaluer l'acquisition des connaissances des personnes apprenantes, l'utilisabilité perçue de l'agent conversationnel et l'expérience d'interaction des personnes apprenantes.

# 2. Conception de l'agent conversationnel basé sur GPT-4 et la RAG

Notre agent conversationnel repose sur l'intégration d'un LLM et de la RAG. Il vise à offrir des interactions précises, contextualisées et adaptées aux besoins des personnes apprenantes, notamment dans des environnements éducatifs comme les MOOC. Dans ce qui suit, nous présentons d'abord GPT-4, le modèle de langage utilisé, avant de détailler l'intégration de la RAG et son rôle dans l'amélioration des réponses générées par l'agent conversationnel.

## 2.1 GPT-4

Le modèle de langage utilisé dans notre agent conversationnel repose sur GPT-4, accessible au moyen d'une interface de programmation d'application (API) fournie par OpenAI (s.d.). GPT-4 est un modèle de langage multimodal développé par OpenAI capable de traiter du texte et des images. Il représente une évolution significative par rapport à ses prédécesseurs, GPT-1, GPT-2 et GPT-3, tant en matière d'échelle que de capacités.

GPT-4 se distingue notamment par sa capacité à traiter un volume de texte en entrée beaucoup plus important, pouvant atteindre 32 768 jetons textuels (tokens), contre 8 192 pour GPT-3 (Skalbeck, 2023). Cette augmentation permet à GPT-4 de prendre en compte un historique d'échange plus long, améliorant ainsi la cohérence et la pertinence des réponses. Cette
amélioration est particulièrement utile dans des interactions complexes avec les utilisateurs et utilisatrices, où la continuité du dialogue et la précision des informations sont essentielles.

## 2.2 RAG

La RAG exploite la puissance des LLM en les enrichissant avec une base de connaissances externe. Son objectif principal est de surmonter certaines des limitations inhérentes aux LLM, telles que le phénomène d'hallucination, où ces modèles peuvent produire des informations inexactes ou non pertinentes (Gao et al., 2023). En combinant les capacités de récupération d'informations provenant de sources externes avec celles de génération de texte, la RAG permet de générer des réponses plus précises, pertinentes et adaptées au contexte des personnes apprenantes.

Notre agent conversationnel a été conçu pour accompagner les personnes apprenantes d'un MOOC spécifique sur l'IA. Il repose sur les capacités de l'IA générative, telle que GPT-4, pour la compréhension du langage naturel, combinées aux avancées de la RAG (Gao et al., 2023), qui lui permettent d'exploiter un corpus préconstruit issu de ce MOOC. Le processus repose sur plusieurs étapes séquentielles (voir figure 1), illustrant les différentes phases de l'intégration de la RAG avec GPT-4 (Miladi et al., 2025) :

1. **Collecte des données.** Nous avons extrait les documents du MOOC sur l'IA comme source principale d'informations. Ces documents incluent des textes explicatifs, des transcriptions de vidéos ainsi que des tableaux. Le choix des contenus issus de ce MOOC s'explique par leur richesse et leur diversité, constituant une base complète pour fournir des réponses adaptées aux questions des personnes apprenantes. Les transcriptions de vidéos, en particulier, permettent d'intégrer des explications orales en complément des documents textuels. Cette combinaison enrichit la base de connaissances du modèle, en intégrant à la fois des descriptions formelles et des informations additionnelles issues des vidéos. Enfin, toutes les données textuelles ont été uniformisées (voir figure 1, (a)) pour assurer une cohérence dans leur traitement.

<figure><img src="image_3.png" /><figcaption>**Figure 1**
Architecture complète de l'agent conversationnel GPT-RAG, adapté à partir de Miladi et al., 2025</figcaption></figure>
2. **Segmentation des documents.** Comme illustré à la figure 1, (b), après la préparation des documents, l'étape suivante consiste à les diviser en segments plus petits pour faciliter leur traitement. Nous avons choisi d'utiliser un découpage à longueur fixe avec le *RecursiveCharacterTextSplitter* de LangChain, une bibliothèque facilitant le traitement avancé du texte pour les modèles de langage. Chaque segment contient 2 000 caractères avec un chevauchement de 200 caractères entre les segments afin de préserver le contexte et d'améliorer la pertinence des recherches. Les séparateurs utilisés pour délimiter les segments incluent les doubles sauts de ligne, les simples sauts de ligne, les points, les espaces et, en dernier recours, aucune séparation si les autres méthodes ne sont pas applicables.

3. **Conversion en vecteurs numériques.** Nous avons utilisé le modèle de représentation vectorielle *text-embedding-ada-002* (Neelakantan et al., 2022) d'OpenAI pour convertir les documents segmentés en représentations mathématiques appelées représentations vectorielles (voir figure 1, (c)). Ces représentations sont des vecteurs numériques qui capturent la signification sémantique du texte, ses nuances contextuelles et les relations entre les concepts dans un espace vectoriel compact (Lebret, 2016). Les représentations vectorielles jouent un rôle central en NLP, car elles permettent de modéliser des mots, des phrases ou des documents sous forme de nombres réels, facilitant ainsi le calcul des similarités entre les concepts. Cette transformation permet au système d'établir des liens plus précis entre les questions des utilisateurs et utilisatrices et les informations disponibles, améliorant ainsi la pertinence des réponses générées.

4. **Stockage dans une base de connaissances.** Après la conversion en vecteurs, ces derniers sont stockés dans une base de connaissances spécialement conçue pour le domaine du MOOC, permettant une recherche rapide des informations pertinentes en fonction des questions des personnes apprenantes (voir figure 1, (d)). L'adaptation de la base de connaissances au contexte du MOOC est essentielle pour garantir des réponses précises et cohérentes de l'IA, tout en réduisant les risques d'erreurs ou de réponses hors sujet.

5. **Conversion de la question.** La question soumise par la personne apprenante est convertie en vecteur à l'aide du modèle *text-embedding-ada-002* (voir figure 1, (e)). Cette transformation facilite le repérage de réponses pertinentes, même lorsque les termes utilisés dans la question diffèrent de ceux présents dans la base de connaissances. Elle est particulièrement utile dans des environnements d'apprentissage comme les MOOC, où les personnes apprenantes formulent leurs questions de manière variée. En capturant le contexte et les nuances sémantiques, cette approche améliore la précision des réponses et optimise l'expérience d'apprentissage.

6. **Recherche sémantique.** Le système effectue une recherche au sein de la base de connaissances en comparant la question à des documents existants (voir figure 1, (f)). Cette comparaison repose sur la similarité cosinus (Vijaymeena et Kavitha, 2016), une méthode qui mesure à quel point deux textes sont proches en analysant leurs représentations numériques. Les résultats de cette recherche sont ensuite triés par ordre de pertinence, ce qui permet de sélectionner les réponses les plus adaptées aux besoins des personnes apprenantes. Dans notre cas, nous avons opté pour la sélection des trois vecteurs les plus pertinents ($k = 3$), afin d'augmenter les chances de fournir des informations précises tout en évitant une surcharge d'informations inutiles. Les segments de texte associés aux trois vecteurs les plus pertinents sont déterminés, puis combinés à la question initiale afin de construire une requête enrichie. Cette combinaison garantit des réponses à la fois précises et contextuellement adaptées aux questions des personnes apprenantes.
7. **Génération de réponse par GPT-4.** La requête enrichie est transmise à GPT-4, qui génère une réponse en s’appuyant uniquement sur le contexte des informations récupérées, comme illustré à la figure 2. Ce choix de transmission restreinte garantit que la réponse est construite à partir de données spécifiques et pertinentes, ce qui permet de réduire les risques d’erreurs ou de réponses inappropriées. En exploitant ces requêtes enrichies, GPT-4 formule une réponse adaptée aux besoins de la personne apprenante, même lorsque la formulation des questions varie. Ce processus est illustré à la figure 1, (g), où l’intégration des segments les plus pertinents permet de produire une réponse pertinente, répondant ainsi aux exigences spécifiques de la personne apprenante.

<figure><img src="image_4.png" /><figcaption>**Figure 2**
Requête utilisée dans notre agent conversationnel</figcaption></figure>

## 3. Méthodologie de la recherche

Cette section présente la méthodologie de la recherche, qui évalue l’effet de l’agent conversationnel enrichi par GPT-4 et la RAG sur l’acquisition des connaissances, son utilisabilité et l’expérience d’interaction des personnes apprenantes avec cet agent dans un MOOC sur l’IA. Nous détaillons le contexte de l’étude, les méthodes de collecte de données quantitatives et qualitatives, les considérations éthiques, les personnes participantes, le protocole expérimental ainsi que les instruments de recherche utilisés pour mesurer l’acquisition des connaissances et l’utilisabilité de l’agent.

### 3.1 Le MOOC Initiation au vocabulaire de l'intelligence artificielle

Cette recherche s'inscrit dans le cadre du CLOM Mots d'IA : initiation au vocabulaire de l'intelligence artificielle, un cours en ligne ouvert à tous développé sous la responsabilité de Valéry Psyché au sein de l'Université TÉLUQ (Psyché, 2019). Ce cours vise à familiariser les personnes apprenantes avec le vocabulaire de l'IA en français, dans un domaine où la terminologie est majoritairement anglophone. Il s'adresse aux professionnels et professionnelles de l'IA, aux étudiants et étudiantes ainsi qu'à toute personne souhaitant acquérir une meilleure compréhension des concepts clés de cette discipline.

L'IA occupe une place croissante dans divers domaines tels que les communications, le travail, les transports, l'éducation et la santé (Psyché, 2019, section « Présentation du cours »). Dans ce contexte, la maîtrise du vocabulaire technique en français devient essentielle pour favoriser une meilleure appropriation des savoirs et une intégration efficace dans les milieux professionnels francophones.

Le MOOC est structuré en quatre modules thématiques : 1) concepts généraux de l'IA, 2) IA symbolique, 3) IA connexionniste et 4) applications de l'IA dans l'éducation. Pour cette recherche,
nous avons choisi de nous concentrer sur le premier module, qui introduit les fondements de l'IA. Ce module a été choisi car il aborde des notions essentielles pouvant susciter des incompréhensions, justifiant ainsi l'intégration d'un agent conversationnel pour accompagner l'apprentissage. De plus, il s'adresse à un large public, incluant des personnes apprenantes novices, ce qui en fait un point d'entrée pertinent pour évaluer l'effet de cet agent sur la compréhension et l'acquisition des connaissances.

## 3.2 Méthodes de collecte de données

Nous avons adopté une approche de méthodes mixtes explicatives séquentielles, telle que définie par Creswell *et al.* (2003). Cette méthode combine une collecte de données quantitatives et qualitatives, en deux phases successives, afin d'obtenir une compréhension approfondie des phénomènes étudiés. Les données quantitatives ont été recueillies au moyen de questionnaires et analysées ensuite à l'aide de statistiques descriptives pour répondre aux questions de recherche QR1 et QR2 (Miladi *et al.*, 2025). Cette approche quantitative a été choisie pour offrir un aperçu global des données et faciliter l'analyse des résultats expérimentaux, renforçant ainsi la reproductibilité de l'étude. Ensuite, des données qualitatives ont été collectées à travers des entretiens semi-structurés avec les personnes apprenantes inscrites à ce MOOC, afin d'examiner leur perception de l'expérience d'interaction avec l'agent conversationnel enrichi par GPT et la RAG (QR3). L'analyse thématique de ces entretiens a impliqué un processus de codage et de catégorisation des données, offrant des compréhensions détaillées sur le rôle de l'agent conversationnel dans le contexte éducatif.

## 3.3 Considérations éthiques

Les considérations éthiques ont occupé une place centrale dans cette étude. Toutes les personnes participantes ont été informées du protocole de l'étude et ont donné leur consentement éclairé. L'accès aux données recueillies a été strictement limité aux personnes autorisées. De plus, l'étude a été approuvée par le Comité d'éthique de l'Université TÉLUQ (numéro d'approbation 10/2023).

## 3.4 Personnes participantes à la recherche

L'échantillon de cette recherche se compose de 42 personnes apprenantes inscrites en master et licence en informatique dans une université publique au Sénégal. Cependant, 17 d'entre elles n'ont pas pu compléter l'expérience pour des raisons personnelles. Finalement, 25 personnes participantes ont pris part à cette recherche, réparties de manière aléatoire en deux groupes : un groupe de contrôle (GC) (n = 12; quatre femmes et huit hommes) et un groupe expérimental (GE) (n = 13; cinq femmes et huit hommes), d'un âge moyen allant de 19 à 23 ans.

## 3.5 Protocole expérimental

Au début de l'étude, les personnes participantes des deux groupes, GC et GE, ont été soumises à un prétest visant à évaluer leur compréhension initiale des concepts d'IA. Les personnes apprenantes du GE ont ensuite visionné une courte vidéo de démonstration expliquant l'utilisation de l'agent conversationnel. Ensuite, le GE a complété le module 1 du MOOC avec l'assistance de l'agent conversationnel, tandis que le GC a suivi le même module sans cette assistance. Chaque personne participante a travaillé de manière autonome et à distance, en ayant une période de trois jours pour terminer le module. Des rappels par courriel ont été envoyés aux personnes participantes n'ayant pas finalisé le module après deux jours, dans les deux groupes. À la fin de l'expérience, toutes les personnes participantes des deux groupes ont passé un post-test afin d'évaluer l'effet de l'agent conversationnel sur l'acquisition de leurs connaissances (QR1).
De plus, les personnes participantes du GE ont rempli le questionnaire de l'échelle d'utilisabilité du système (SUS) afin d'évaluer l'utilisabilité perçue de l'agent conversationnel (QR2). La section 4.6.2 présente en détail le fonctionnement de la SUS ainsi que le calcul des scores.

Concernant la QR3, six personnes apprenantes (trois hommes et trois femmes) ont accepté de participer volontairement à des entretiens semi-structurés individuels d'une durée de 20 à 30 minutes, menés à distance sur Zoom. Toutes les sessions ont été enregistrées sous forme audio et transcrites mot à mot. Par la suite, une analyse thématique a été réalisée en suivant les étapes décrites par Braun et Clarke (2006), ce qui nous a permis d'établir et d'interpréter les thèmes émergents. Les étapes méthodologiques suivantes ont été suivies : 1) préparation des transcriptions des entretiens pour l'analyse, y compris la transcription des données et leur révision pour noter les idées initiales; 2) attribution systématique de codes aux éléments clés de l'ensemble des données; 3) regroupement des codes en thèmes potentiels, en rassemblant toutes les données pertinentes sous chaque thème; 4) révision des thèmes pour s'assurer qu'ils représentent fidèlement les données, avec ajustements si nécessaire; 5) affinement et nomination des thèmes pour clarifier la narration globale qui se dégage de l'analyse; et 6) compilation des résultats dans un rapport final, incluant des exemples sélectionnés pour illustrer les résultats et les relier à la question de recherche et à la littérature pertinente.

Pour assurer la confidentialité, chaque personne participante a été anonymisée et identifiée par un code (p. ex., S1, S2), où « S » représente une personne apprenante. Les données recueillies ont permis d'analyser la perception des personnes apprenantes sur leur expérience d'interaction avec l'agent conversationnel (QR3).

Le protocole expérimental est illustré à la figure 3, qui présente un schéma des étapes clés de l'étude. Cette figure met en évidence la séquence des activités, incluant les prétests, les post-tests, l'évaluation SUS et les entretiens menés avec le GE.

<figure><img src="image_5.png" /><figcaption>**Figure 3**

*Protocole expérimental*</figcaption></figure>
## 3.6 Instruments de recherche

Différents instruments ont été utilisés dans cette étude pour évaluer les connaissances des personnes participantes et l'utilisabilité de l'agent conversationnel. Les sections suivantes décrivent chaque instrument en détail, en commençant par le prétest et le post-test, qui ont servi à mesurer l'acquisition des connaissances.

### 3.6.1 Prétest et post-test

Pour évaluer l'acquisition des connaissances (QR1) concernant l'IA dans le cadre de ce MOOC, les deux groupes ont effectué le même prétest avant l'expérience. De la même manière, les deux groupes ont effectué le même post-test après avoir terminé le module 1 afin de vérifier l'acquisition de leurs connaissances. Les questions du prétest et du post-test ont été soigneusement conçues pour couvrir des concepts identiques, assurant ainsi la cohérence de la mesure des acquis d'apprentissage (tableau 1). Par exemple, la question 2 du prétest et la question 8 du post-test évaluent toutes deux les connaissances liées au concept d'apprentissage supervisé, tandis que la question 4 du prétest et la question 6 du post-test évaluent la compréhension du test de Turing. L'annexe A présente les questions utilisées dans le prétest et le post-test. Ces tests étaient composés de questions à choix unique et de questions à réponses courtes, nous permettant de recueillir les informations nécessaires pour répondre à QR1.

<caption>**Tableau 1**</caption>

Concepts de connaissances abordés dans les questions du prétest et du post-test

<table><thead><tr><td>Concepts</td><td>Question du prétest</td><td>Question du post-test</td></tr></thead><tbody><tr><td>Intelligence artificielle</td><td>Q1</td><td>Q9</td></tr><tr><td>Apprentissage supervisé</td><td>Q2</td><td>Q8</td></tr><tr><td>Réseau neuronal artificiel</td><td>Q3</td><td>Q7</td></tr><tr><td>Test de Turing</td><td>Q4</td><td>Q6</td></tr><tr><td>Système tutoriel intelligent</td><td>Q5</td><td>Q5</td></tr><tr><td>Algorithme d'apprentissage automatique</td><td>Q6</td><td>Q4</td></tr><tr><td>Base de connaissances</td><td>Q7</td><td>Q3</td></tr><tr><td>Traitement du langage naturel</td><td>Q8</td><td>Q1</td></tr><tr><td>Raisonnement automatisé</td><td>Q9</td><td>Q10</td></tr><tr><td>Vision par ordinateur</td><td>Q10</td><td>Q2</td></tr></tbody></table>

### 3.6.2 Échelle d'utilisabilité du système

La SUS, développée par Brooke (1996), est un outil d'évaluation standardisé permettant de mesurer la facilité d'utilisation perçue d'un système. Elle a été choisie pour sa simplicité, sa précision et sa fiabilité, même avec un petit échantillon (Tullis et Stetson, 2004). La SUS se compose de 10 affirmations, chacune évaluée sur une échelle de Likert à 5 points, allant de « Pas du tout d'accord » (1) à « Tout à fait d'accord » (5), afin de produire un score unique compris entre 0 et 100. Un score plus élevé indique une meilleure perception de l'utilisabilité de l'agent conversationnel. Les affirmations impaires du questionnaire traduisent des perceptions positives de l'utilisabilité, comme « Je pense que j'aimerais utiliser cet agent conversationnel », tandis que les affirmations paires reflètent des aspects négatifs liés à d'éventuelles difficultés d'utilisation, comme « J'ai trouvé cet agent conversationnel inutilement complexe ». Les réponses au
questionnaire SUS ont été obtenues auprès des 13 personnes apprenantes du GE ayant interagi avec l'agent conversationnel, fournissant ainsi les données nécessaires pour analyser leur perception de son utilisabilité (QR2).

### 3.6.3 Entretiens semi-structurés

Le guide d'entretien, présenté en annexe B, comprend des questions conçues pour favoriser des discussions approfondies et recueillir les perceptions des personnes apprenantes sur leur expérience d'interaction avec l'agent conversationnel dans le cadre du MOOC. Ces questions s'appuient sur la littérature existante, notamment sur les travaux de Sun et al. (2024) et de Duong et Suppasetseree (2024), qui ont analysé l'influence des agents conversationnels sur l'apprentissage et les perceptions des personnes apprenantes dans des contextes éducatifs. Inspirées de ces recherches, les questions du guide d'entretien ont été adaptées pour examiner l'usage spécifique de l'agent conversationnel dans le MOOC, en explorant ses apports perçus pour l'apprentissage, la précision et la contextualisation des réponses fournies ainsi que les éventuelles difficultés rencontrées par les personnes apprenantes. L'objectif est d'obtenir une compréhension approfondie de leur expérience d'interaction et de leur niveau de satisfaction quant à l'utilisation de cet outil pédagogique (QR3).

## 4. Résultats

Cette section vise à présenter les résultats quantitatifs et qualitatifs de notre recherche. Nous explorons d'abord l'effet de l'agent conversationnel sur l'acquisition des connaissances et l'utilisabilité à travers l'analyse quantitative, puis nous examinons l'expérience globale des personnes apprenantes avec l'agent au moyen de l'analyse qualitative.

### 4.1 Approche quantitative de la recherche

Cette section décrit l'analyse quantitative de l'effet de l'agent conversationnel sur l'acquisition des connaissances et son utilisabilité. L'acquisition des connaissances a été mesurée à l'aide de prétests et de post-tests, comme indiqué précédemment, tandis que l'utilisabilité de l'agent conversationnel a été évaluée à l'aide de l'échelle SUS.

#### 4.1.1 Résultats en lien avec l'acquisition des connaissances

Les résultats de l'évaluation des connaissances montrent l'évolution des scores des deux groupes (expérimental et contrôle) à travers les prétests et les post-tests. Avant l'activité d'apprentissage, les scores moyens initiaux des deux groupes étaient similaires, avec une moyenne de 7,2/10, indiquant un niveau de connaissances comparable avant l'expérience.

Après l'activité d'apprentissage, le GE, ayant utilisé l'agent conversationnel, a obtenu un gain de connaissances de 1,7/10 (17 %), tandis que le GC, sans agent conversationnel, a enregistré un gain de 1/10 (10 %). Ce gain a été calculé en rapportant la différence entre les scores moyens du post-test et du pretest au score maximal.

L'analyse statistique confirme ces observations. Un test *t* indépendant n'a révélé aucune différence significative entre les scores du pretest des deux groupes (*p* = 0,99 > 0,05), ce qui indique que leurs niveaux de départ étaient comparables (tableau 2). En revanche, une différence significative a été observée entre les scores du post-test (*p* = 0,017 < 0,05), suggérant que l'amélioration des scores dans le GE est statistiquement significative et ne peut être attribuée au hasard.
<table><caption>**Tableau 2**
Analyse des acquisitions des connaissances au prétest et au post-test</caption><thead><tr><th>Étapes</th><th>Groupes</th><th>N</th><th>Moyenne</th><th>Écart-type</th><th>Médiane</th><th>Minimum</th><th>Maximum</th><th>Valeur p</th></tr></thead><tbody><tr><td rowspan="2">Prétest</td><td>Groupe de contrôle</td><td>12</td><td>7,2</td><td>2,19</td><td>7,5</td><td>4</td><td>10</td><td>0,990</td></tr><tr><td>Groupe expérimental</td><td>13</td><td>7,2</td><td>1,90</td><td>8</td><td>4</td><td>10</td><td>—</td></tr><tr><td rowspan="2">Post-test</td><td>Groupe de contrôle</td><td>12</td><td>8,2</td><td>1,14</td><td>8</td><td>7</td><td>10</td><td>0,017</td></tr><tr><td>Groupe expérimental</td><td>13</td><td>8,9</td><td>1,03</td><td>9</td><td>6</td><td>10</td><td>—</td></tr></tbody></table>

### 4.1.2 Résultats sur l'utilisabilité perçue

Sur les 13 réponses obtenues au moyen du questionnaire SUS, le tableau C.1 (annexe C) fournit les statistiques descriptives de chaque affirmation, incluant la moyenne, la médiane et l'écart-type des réponses. Comme indiqué par Brooke (1996), le score SUS est obtenu en ajustant les scores des questions impaires et paires. Pour les questions impaires (1, 3, 5, 7 et 9), on soustrait 1 à chaque score, et les valeurs résultantes sont additionnées pour obtenir la variable X. De même, pour les questions paires (2, 4, 6, 8 et 10), on soustrait chaque score de 5, et ces valeurs ajustées sont additionnées pour obtenir la variable Y. Le score final de la SUS est ensuite calculé en additionnant X et Y, puis en multipliant la somme par 2,5, ce qui donne un score compris entre 0 et 100. Dans le cas de notre agent conversationnel, le score final de la SUS s'élève à 80,4, ce qui reflète un haut niveau d'utilisabilité. Les scores obtenus par les personnes participantes allaient de 52,5 à 95 sur 100. La moitié des utilisateurs et utilisatrices ont obtenu des scores compris entre 75 et 85, avec une médiane de 82,5, comme le montre le diagramme en boîte de la figure 4. Le score moyen était de 80,4, avec un écart-type de 11,7. Ces résultats suggèrent que l'agent conversationnel a été perçu comme hautement utilisable par les personnes participantes.

<figure><img src="image_6.png" /><figcaption>**Figure 4**
Diagramme en boîte des scores de l'échelle d'utilisabilité du système (SUS) pour l'agent conversationnel (N = 13; médiane : 82,5; moyenne : 80,4)</figcaption></figure>
## 4.2 Approche qualitative de la recherche

Les données qualitatives issues des entretiens individuels semi-structurés avec les six personnes participantes ont été catégorisées en trois thèmes principaux : l'utilité perçue, les avantages et inconvénients perçus, et la satisfaction globale vis-à-vis de l'agent conversationnel. Ces thèmes ont été établis grâce à une analyse thématique, fournissant une compréhension approfondie des expériences d'interaction des personnes apprenantes avec l'agent. Cette approche qualitative a permis de répondre à la QR3, qui porte sur les perceptions des personnes apprenantes concernant leur expérience d'interaction avec un agent conversationnel enrichi par GPT-4 et la RAG.

### 4.2.1 Utilité perçue

L'agent conversationnel a été généralement perçu comme un outil utile pour favoriser l'apprentissage et la compréhension des personnes apprenantes tout au long du MOOC. Plusieurs d'entre elles ont sollicité l'agent conversationnel pour clarifier des termes et concepts complexes. Par exemple, une personne apprenante a déclaré : « Lorsque je rencontre des termes que je ne comprends pas, je demande à l'agent conversationnel de les expliquer ou de les clarifier avec des exemples concrets » (S1). Cet exemple montre l'utilité perçue par la personne apprenante de l'agent conversationnel pour apporter des explications immédiates. Une autre personne apprenante a mentionné : « Par exemple, le terme "langage naturel" n'était pas très clair pour moi. J'ai donc posé une question à l'agent pour voir comment il me l'expliquerait » (S4), soulignant ainsi le rôle de l'agent conversationnel dans l'éclaircissement de concepts complexes.

Par ailleurs, selon la perception des personnes apprenantes, l'agent conversationnel a également contribué à optimiser le processus d'apprentissage. Comme l'a indiqué une personne apprenante : « Je l'ai utilisé pour mieux comprendre, mais aussi pour accélérer mon rythme d'apprentissage, car il me permet de me sentir beaucoup plus à l'aise dans la compréhension » (S5). Ces retours montrent l'utilité de l'agent conversationnel, tant pour faciliter la compréhension que pour favoriser un apprentissage plus fluide et rapide.

### 4.2.2 Avantages et inconvénients perçus

Bien que l'agent conversationnel ait été reconnu pour son utilité, les personnes apprenantes ont également soulevé divers avantages et inconvénients au cours de leurs interactions avec lui. En ce qui concerne les avantages, l'agent semble s'être révélé efficace pour soutenir l'apprentissage. Une personne apprenante a rapporté : « Il m'a aidé dans mon apprentissage » (S1). Une autre a souligné la rapidité et la clarté des réponses, déclarant : « C'est plus rapide à comprendre que la vidéo. Je trouve que c'est plus rapide. Au lieu de regarder, par exemple, une vidéo d'une ou deux minutes, je pose juste ma question et je comprends rapidement » (S3). Cela met en évidence l'efficacité perçue de l'agent dans la transmission de l'information.

Cependant, certaines personnes apprenantes ont également rencontré des problèmes d'exactitude et de pertinence dans les réponses de l'agent. Par exemple, l'une d'elles a déclaré : « Il y avait une question qui n'était pas très claire, et lorsque j'ai demandé à l'agent de m'expliquer le concept, c'était un peu confus. Par exemple, j'ai demandé de m'expliquer le concept de langage naturel, et lorsque l'agent a fourni une réponse, je lui ai redemandé de clarifier parce que ce n'était pas très clair. Mais la réponse qu'il m'a donnée était insatisfaisante et complètement hors sujet, se concentrant davantage sur des concepts symboliques et connexionnistes » (S2). Une autre personne apprenante a noté : « Parfois, les réponses ne sont ni exactes ni précises » (S6). Bien que ces cas soient minoritaires, ils suggèrent qu'il reste encore des améliorations à envisager pour
assurer des réponses précises et adaptées au contexte. Cet objectif est d'autant plus crucial compte tenu de l'utilisation de la RAG pour accroître la précision des réponses de l'agent conversationnel.

### 4.2.3 Satisfaction globale

Dans l'ensemble, les personnes apprenantes ont manifesté un haut niveau de satisfaction vis-à-vis de l'agent conversationnel. La majorité ont apprécié sa clarté, son efficacité ainsi que l'aide apportée lorsqu'elles recherchaient des réponses. L'agent a également favorisé un environnement sans jugement, ce qui a permis aux personnes apprenantes de se sentir plus à l'aise pour poser des questions. Comme l'a souligné l'une d'elles : « Je me sens en confiance parce que je sais qu'il ne va pas me juger, qu'il ne va pas me dire que je ne sais rien, etc. » (S3). Cela suggère que l'agent a joué un rôle dans la création d'un environnement d'apprentissage favorable, contribuant ainsi à la satisfaction générale.

En résumé, ces témoignages illustrent la satisfaction globale des personnes apprenantes en ce qui concerne l'agent conversationnel, notamment quant à la clarté, au soutien et à l'efficacité dans le processus d'apprentissage. Les informations tirées de ces entretiens offrent des perspectives précieuses pour le développement et l'amélioration des outils éducatifs intégrant l'IA.

## 5. Discussion

D'une manière globale, les résultats issus de cette expérimentation vont dans le sens de nos hypothèses : ils suggèrent que l'utilisation de l'agent conversationnel enrichi par GPT-4 et la RAG a eu un effet positif sur l'acquisition des connaissances des personnes apprenantes ainsi que sur leur perception de son utilisabilité et sur leur expérience d'interaction avec cet agent. Nous détaillons ici les effets observés à travers les résultats de cette expérimentation.

### 5.1 Effet de l'agent conversationnel sur l'acquisition des connaissances des personnes apprenantes (H1)

Les résultats de cette étude suggèrent que l'utilisation de l'agent conversationnel basé sur GPT-4, enrichi par la RAG, a conduit à une différence statistiquement significative sur l'acquisition des connaissances des personnes apprenantes. Cette différence peut être attribuée à la capacité de l'agent conversationnel à fournir un soutien personnalisé et contextuellement pertinent en temps réel. Ces résultats soutiennent notre hypothèse selon laquelle l'agent conversationnel enrichi par la RAG améliore l'acquisition des connaissances des personnes apprenantes. En récupérant des informations pertinentes provenant de sources externes, la RAG a renforcé les capacités génératives de l'agent conversationnel (Lewis et al., 2020), permettant de fournir des réponses à la fois précises et adaptées aux besoins individuels des personnes apprenantes. Ces résultats s'alignent avec les conclusions de Ko et al. (2024), qui ont démontré que les modèles LLM enrichis par la RAG offrent des réponses plus fiables et précises, ce qui améliore les résultats d'apprentissage, notamment dans des contextes complexes comme la programmation Python. De manière similaire, Slade et al. (2024) ont évalué un système de tutorat basé sur la RAG pour les devoirs écrits dans un cours d'introduction à la psychologie. Leurs résultats montrent que les étudiants et étudiantes utilisant le système ont obtenu des scores significativement plus élevés lors d'un post-test, suggérant une amélioration de la rétention des connaissances.

### 5.2 Perception de l'utilisabilité de l'agent conversationnel (H2)

Le score SUS obtenu pour notre agent conversationnel est de 80,4. Selon Bangor et al. (2009), ce score correspond à une note de « B » sur l'échelle de notation de la SUS. En ce qui concerne les
plages d'acceptabilité, notre agent conversationnel est considéré comme « Acceptable » et, dans les évaluations adjectivales, il est classé comme « Bon » (voir figure 5). Cela démontre que l'agent conversationnel est bien accueilli par les personnes apprenantes et qu'il possède un fort potentiel pour améliorer l'expérience utilisateur dans les environnements éducatifs. Ces résultats valident notre hypothèse concernant l'utilisabilité positive de l'agent conversationnel.

<figure><img src="image_7.png" /><figcaption>**Figure 5**

Échelle SUS de Bangor et al. (2009) et score moyen SUS pour notre agent conversationnel (ligne rouge)</figcaption></figure>

## 5.3 Expérience d'interaction avec l'agent conversationnel (H3)

L'utilité perçue élevée de l'agent conversationnel et la satisfaction des personnes apprenantes à son égard s'expliquent par sa capacité à offrir un soutien immédiat et contextuellement pertinent, facilitant la clarification rapide des concepts complexes et rendant l'apprentissage plus efficace. De plus, l'absence de jugement de la part de l'agent conversationnel a favorisé un environnement où les personnes apprenantes se sont senties à l'aise pour poser leurs questions librement, renforçant ainsi leur satisfaction globale. Toutefois, certaines d'entre elles ont relevé des limites, notamment en ce qui concerne la précision de certaines réponses, suggérant des pistes d'amélioration. Ces résultats confirment notre hypothèse selon laquelle l'expérience d'interaction avec l'agent conversationnel est perçue positivement. Ils s'alignent avec les conclusions de Li et Xing (2021), qui ont démontré que les personnes apprenantes perçoivent positivement les agents conversationnels basés sur les LLM dans les forums de discussion des MOOC. Dans leur étude, l'agent conversationnel a été évalué comme utile, clair et pertinent, contribuant à la satisfaction globale des utilisateurs et utilisatrices. De même, dans notre étude, la capacité de l'agent conversationnel à offrir un soutien immédiat et adapté a favorisé une expérience d'apprentissage positive, renforçant la satisfaction et l'utilité perçue chez les personnes apprenantes. En plus de son efficacité, l'agent conversationnel a joué un rôle d'accompagnement éducatif en facilitant la clarification des concepts complexes et en soutenant l'autonomie des personnes apprenantes. Ces résultats suggèrent que des interactions adaptées et contextualisées peuvent favoriser l'apprentissage (González-Castro et al., 2021; Ruan et al., 2019).

L'analyse des données éducatives issues de cette recherche apportera des éléments clés pour l'amélioration des cours pédagogiques comme les MOOC (Coulombe et Valéry, 2021). En particulier, ces résultats permettront d'optimiser la conception des agents conversationnels enrichis par la RAG, qui favorisent l'apprentissage dans ces cours. L'intégration de contenus variés, issus de différentes sources en lien avec le cours, permettra d'enrichir la base de connaissances de l'agent, améliorant ainsi la pertinence des interactions avec les personnes apprenantes. De plus, cette recherche permettra d'affiner la structuration des requêtes utilisées par l'agent, favorisant ainsi des interactions plus précises et adaptées aux besoins des personnes apprenantes. En fournissant un cadre empirique pour l'amélioration des agents conversationnels
éducatifs, nos conclusions pourront orienter le développement futur de solutions d'accompagnement pédagogique interactives et mieux adaptées aux environnements d'apprentissage en ligne.

# 6. Limites de l'étude expérimentale

Malgré les résultats positifs obtenus, cette étude présente plusieurs limites. Les résultats sont spécifiques à une population de personnes apprenantes issue d'un seul établissement, ce qui limite leur généralisation à des contextes éducatifs plus diversifiés. De plus, la taille de l'échantillon était relativement réduite, ce qui pourrait ne pas refléter toutes les expériences d'apprentissage. Comme perspective, nous proposons de mener une expérimentation intégrant un agent conversationnel conçu pour détecter les émotions des personnes apprenantes et y répondre. Cet agent empathique pourrait adapter son discours en fonction du ressenti des personnes apprenantes, favorisant des interactions plus humaines et engageantes. L'ajout de cette dimension émotionnelle permettrait d'explorer des aspects essentiels de l'apprentissage tels que la gestion des émotions afin d'améliorer la qualité de l'expérience éducative et de renforcer l'engagement des personnes apprenantes.

# Conclusion

Cette étude a évalué l'effet de l'agent conversationnel enrichi par GPT-4 et la RAG sur l'acquisition des connaissances des personnes apprenantes, son utilisabilité et leur expérience d'interaction avec cet agent dans un MOOC. Pour évaluer cet effet, nous avons adopté une approche mixte (quantitative et qualitative) en mettant en place un protocole expérimental impliquant deux groupes : un GE utilisant l'agent conversationnel enrichi par la RAG et un groupe de contrôle sans agent. Chaque groupe a suivi le premier module du MOOC de manière autonome, avec des prétests et des post-tests pour évaluer l'acquisition des connaissances des personnes apprenantes. Dans le GE, le questionnaire SUS a été utilisé pour mesurer l'utilisabilité de l'agent. En complément de cette approche quantitative, nous avons mené des entretiens individuels semi-structurés avec six personnes participantes du GE pour recueillir des données qualitatives approfondies sur leur expérience d'interaction avec l'agent conversationnel.

Les résultats montrent une amélioration significative de l'acquisition des connaissances dans le groupe expérimental, avec une différence statistiquement significative par rapport au groupe de contrôle. L'agent conversationnel a ainsi facilité la compréhension des concepts abordés dans le MOOC.

Le score élevé obtenu sur l'échelle SUS reflète une perception positive de l'utilisabilité de l'agent. Les entretiens ont mis en évidence son utilité perçue, particulièrement pour clarifier des concepts complexes et accélérer le rythme d'apprentissage. Bien que certaines réponses aient parfois manqué de précision, la satisfaction globale des personnes apprenantes reste élevée grâce à un accompagnement personnalisé et à un environnement d'apprentissage favorisant l'absence de jugement.

Ces résultats soulignent le potentiel des agents conversationnels enrichis par la RAG pour améliorer l'apprentissage dans les cours en ligne asynchrones et ouvrent des perspectives pour optimiser leur précision et leur adaptation aux besoins des personnes apprenantes, tout en explorant leur rôle en tant que compagnons d'apprentissage.
# Notes

## Disponibilité des données

Les données collectées au cours de la présente recherche et sur lesquelles l'article s'appuie sont accessibles sur demande auprès de la première autrice, Fatma Miladi.

## Références

Abdelghani, R., Wang, Y. H., Yuan, X., Wang, T., Lucas, P., Sauzéon, H. et Oudeyer, P. Y. (2024). GPT-3-driven pedagogical agents to train children’s curious question-asking skills. *International Journal of Artificial Intelligence in Education, 34*(2), 483-518.
https://doi.org/gs24vz

Alkaissi, H. et McFarlane, S. I. (2023). Artificial hallucinations in ChatGPT: Implications in scientific writing. *Cureus*, 15(2), article e35179. https://doi.org/10.7759/cureus.35179

Bangor, A., Kortum, P. et Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. *Journal of User Experience, 4*(3), 114-123.
https://uxpajournal.org/...

Braun, V. et Clarke, V. (2006). Using thematic analysis in psychology. *Qualitative Research in Psychology, 3*(2), 77-101. https://doi.org/fswdcx

Brooke, J. (1996). SUS – A quick and dirty usability scale. Dans P. W. Jordan, B. Thomas, I. L. McClelland et B. Weerdmeester (dir.), *Usability evaluation in industry* (chap. 21). Taylor & Francis. https://doi.org/m5cf

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., ... Amodei, D. (2020). Language models are few-shot learners. Dans H. Larochelle, M. Ranzatom, R. Hadsell, M. F. Balcan et H. Lin (dir.), *Advances in neural information processing systems 33 – Proceedings of the 34th Conference on Neural Information Processing Systems (NeurIPS 2020)* (p. 1877-1901). https://proceedings.neurips.cc/...

Bulger, M., Bright, J. et Cobo, C. (2015). The real component of virtual learning: Motivations for face-to-face MOOC meetings in developing and industrialised countries. *Information, Communication & Society, 18*(10), 1200-1216.
https://doi.org/10.1080/1369118X.2015.1061571

Chiu, T. K. et Hew, T. K. (2018). Factors influencing peer learning and performance in MOOC asynchronous online discussion forum. *Australasian Journal of Educational Technology, 34*(4), 16-28. https://doi.org/10.14742/ajet.3240

Coulombe, C. et Psyché, V. (2021). Vers une ingénierie des environnements d’apprentissage pilotée par les données. Dans J. Basque, G. Paquette et F. Henri (dir.), *Apprendre et enseigner sur le Web : quelle ingénierie pédagogique?* (p. 206-247). Presses de l’Université du Québec.

Creswell, J. W., Plano Clark, V. L., Gutmann, M. L. et Hanson, W. E. (2003). Advanced mixed methods research designs. Dans A. Tashakkori et C. Teddlie (dir.), *Handbook of mixed methods in social & behavioral research* (p. 209-240). Sage.
Dijkstra, R., Genç, Z., Kayal, S. et Kamps, J. (2022). Reading comprehension quiz generation using generative pre-trained transformers. Dans S. Sosnovsky, P. Brusilovsky et A. Lan (dir.), *Proceedings of the Fourth International Workshop on Intelligent Textbooks 2022* (p. 4-17). https://ceur-ws.org/...

Duong, T. et Suppasetseree, S. (2024). The effects of an artificial intelligence voice chatbot on improving Vietnamese undergraduate students' English speaking skills. *International Journal of Learning, Teaching and Educational Research, 23*(3), 293-321. https://doi.org/10.26803/ijlter.23.3.15

Gaglo, K., Dégboé, B. M., Kossingou, G. M. et Ouya, S. (2021). Proposal of conversational chatbots for educational remediation in the context of covid-19. Dans *Proceedings of The 24th International Conference on Advanced Communications Technology – Artificial Intelligence Technologies Toward Cybersecurity!* (p. 354-358). IEEE. https://doi.org/pd7r

Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y. et Wang, H. (2023). *Retrieval-augmented generation for large language models: A survey* (version 5) [document de travail]. arXiv. https://doi.org/10.48550/arXiv.2312.10997

González-Castro, N., Muñoz-Merino, P. J., Alario-Hoyos, C. et Kloos, C. D. (2021). Adaptive learning module for a conversational agent to support MOOC learners. *Australasian Journal of Educational Technology, 37*(2), 24-44. https://doi.org/10.14742/ajet.6646

Hone, K. S. et El Said, G. R. (2016). Exploring the factors affecting MOOC retention: A survey study. *Computers & Education, 98*, 157-168. https://doi.org/10.1016/j.compedu.2016.03.016

Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A. et Fung, P. (2023). Survey of hallucination in natural language generation. *ACM Computing Surveys, 55*(12), article 248. https://doi.org/10.1145/3571730

Jurafsky, D. et Martin, J. H. (2000). *Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition*. Prentice Hall.

Kerlyl, A., Hall, P. et Bull, S. (2006). Bringing chatbots into education: Towards natural language negotiation of open learner models. Dans R. Ellis, T. Allen, et A. Tuson (dir.), *Applications and innovations in intelligent systems XIV – Proceedings of AI-2006, the 26th SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence* (p. 179-192). Springer. https://doi.org/fsg257

Kestin, G., Miller, K., Klales, A., Milbourne, T. et Ponti, G. (2024). *AI tutoring outperforms active learning* (version 1) [prépublication]. Research Square. https://doi.org/10.21203/rs.3.rs-4243877/v1

Ko, H. T., Liu, Y. K., Tsai, Y. C. et Suen, S. (2024). Enhancing Python learning through retrieval-augmented generation: A theoretical and applied innovation in generative AI education. Dans Y.-P. Cheng, M. Pedaste, E. Bardone et Y.-M. Huang (dir.), *Innovative technologies and learning – 7th International Conference (ICITL 2024) – Proceedings, Part II* (p. 164-173). Springer. https://doi.org/pd7v

Lebret, R. P. (2016). *Word embeddings for natural language processing* [thèse de doctorat, EPFL, Suisse]. EPFL Infoscience. https://doi.org/10.5075/epfl-thesis-7148
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N. et Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Dans H. Larochelle, M. Ranzatom, R. Hadsell, M. F. Balcan et H. Lin (dir.), *Advances in neural information processing systems 33 – Proceedings of the 34th Conference on Neural Information Processing Systems (NeurIPS 2020)* (p. 9459-9474). https://proceedings.neurips.cc/...

Li, C. et Xing, W. (2021). Natural language generation using deep learning to support MOOC learners. *International Journal of Artificial Intelligence in Education, 31*, 186-214. https://doi.org/gh9vrs

Liu, R., Zenke, C., Liu, C., Holmes, A., Thornton, P. et Malan, D. J. (2024). Teaching CS50 with AI: Leveraging generative artificial intelligence in computer science education. Dans B. Stephenson, J. A. Stone, L. Battestilli, S. A. Rebelsky et L. Shoop (prés.), *SIGCSE 2024: Proceedings of the 55th ACM Technical Symposium on Computer Science Education. Volume 1* (p. 750-756). ACM. https://doi.org/pd7w

Miladi, F., Psyché, V., Diattara, A., El Mawas, N. et Lemire, D. (2025). Evaluating a GPT-4 and retrieval-augmented generation-based conversational agent to enhance learning experience in a MOOC [manuscrit accepté]. Dans B. du Boulay, T. Di Mascio, E. Tovar et C. Meinel (dir.), *Proceedings of the 17th International Conference on Computer Supported Education. Volume 2* (p. 347-354). INSTICC. https://doi.org/phnk

Miladi, F., Psyché, V. et Lemire, D. (2024). Leveraging GPT-4 for accuracy in education: A comparative study on retrieval-augmented generation in MOOCs. Dans A. M. Olney, I. A. Chounta, Z. Liu, O. C. Santos et I. I. Bittencourt (dir.), *Artificial intelligence in education. Posters and late breaking results, workshops and tutorials, industry and innovation tracks, practitioners, doctoral consortium and Blue Sky (AIED 2024). Communications in computer and information science* (vol. 2150, p. 427-434). Springer. https://doi.org/pd7x

Neelakantan, A., Xu, T., Puri, R., Radford, A., Han, J. M., Tworek, J., Yuan, Q., Tezak, N., Kim, J. W., Hallacy, C., Heidecke, J., Shyam, P., Power, B., Nekoul, T. E., Sastry, G., Krueger, G., Schnurr, D., Such, F. P., Hsu, K., ... Weng, L. (2022). *Text and code embeddings by contrastive pre-training* [manuscrit inédit]. ArXiv. https://doi.org/10.48550/arXiv.2201.10005

OpenAI. (s.d.). *GPT-4 is OpenAI's most advanced system, producing safer and more useful responses*. https://openai.com/index/gpt-4

Papi, C., Gérin-Lajoie, S., Czeszak, W. et Tsayem Tchoupou, A. (2022). *Accompagnement des étudiants : comment contrer l'isolement en formation à distance? – Synthèse de connaissances* [rapport de recherche]. Université TÉLUQ et Conseil de recherches en sciences humaines, Canada. https://r-libre.teluq.ca/2847

Psyché, V. (2019). *Initiation au vocabulaire de l'intelligence artificielle* (M. Elchacar, coll.) [cours en ligne ouvert massivement]. Université TÉLUQ. Récupéré le 17 janvier 2024 de https://clom-motsia.teluq.ca
Ruan, S., Jiang, L., Xu, J., Tham, B. J. K., Qiu, Z., Zhu, Y., Murnane, E. L., Brunskill, E. et Landay, J. A. (2019). Quizbot: A dialogue-based adaptive learning system for factual knowledge. Dans S. Brewster, G. Fitzpatrick, A. Cox et V. Kostakos (prés.), *CHI '19: Proceedings of the 2019 CHI Conference on Human Factors in Computing System* (article 357). ACM. https://doi.org/gh2zmp

Skalbeck, M. (2023, 31 juillet). *Four things to know about GPT-4*. Verblio. https://verblio.com/...

Slade, J. J., Hyk, A. et Gurung, R. A. (2024). Transforming learning: Assessing the efficacy of a retrieval augmented generation system as a tutor for introductory psychology. *Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 68*(1), 1827-1830. https://doi.org/pd9t

Sun, D., Boudouaia, A., Zhu, C. et Li, Y. (2024). Would ChatGPT-facilitated programming mode impact college students' programming behaviors, performances, and perceptions? An empirical study. *International Journal of Educational Technology in Higher Education, 21*, article 14. https://doi.org/gt5nkv

Taneja, K., Maiti, P., Kakar, S., Guruprasad, P., Rao, S. et Goel, A. K. (2024). Jill Watson: A virtual teaching assistant powered by ChatGPT. Dans A. M. Olney, I. A. Chounta, Z. Liu, O. C. Santos et I. I. Bittencourt (dir.), *Artificial intelligence in education – 25th International Conference (AIED 2024). Proceedings, Part I. Lecture notes in computer science* (vol. 14829, p. 324-337). Springer. https://doi.org/pd9v

Tegos, S., Demetriadis, S. et Karakostas, A. (2011). MentorChat: Introducing a configurable conversational agent as a tool for adaptive online collaboration support. Dans P. Angelidis et A. Michalas (dir.), *Proceedings of 2011 Panhellenic Conference on Informatics (PCI 2011)* (p. 13-17). IEEE. https://doi.org/10.1109/PCI.2011.24

Tullis, T. S. et Stetson, J. N. (2004, juin). *A comparison of questionnaires for assessing website usability* [communication]. Usability Professional Association Conference, Minneapolis, États-Unis. https://researchgate.net/publication/228609327

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł. et Polosukhin, I. (2017). Attention is all you need. Dans I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan et R. Garnett (dir.), *Advances in neural information processing system 30 (NIPS 2017)*. https://papers.nips.cc/...

Vijaymeena, M. K. et Kavitha, K. (2016). A survey on similarity measures in text mining. *Machine Learning and Applications: An International Journal*, 3(1), 19-28. https://aircconline.com/...

Wang, K., Ramos, J. et Lawrence, R. (2023). *ChatEd: A chatbot leveraging ChatGPT for an enhanced learning experience in higher education* [prépublication]. ArXiv https://doi.org/10.48550/arXiv.2401.00052

Wollny, S., Schneider, J., Di Mitri, D., Weidlich, J., Rittberger, M. et Drachsler, H. (2021). Are we there yet? A systematic literature review on chatbots in education. *Frontiers in Artificial Intelligence, 4*, article 654924. https://doi.org/10.3389/frai.2021.654924
Wu, S., Irsoy, O., Lu, S., Dabravolski, V., Dredze, M., Gehrmann, S., Kambadur, P., Rosenberg, D. et Mann, G. (2023). *BloombergGPT: A large language model for finance* [manuscrit inédit] (version 3). ArXiv https://doi.org/10.48550/arXiv.2303.17564

Xie, Z., Wu, X. et Xie, Y. (2024). Can interaction with generative artificial intelligence enhance learning autonomy? A longitudinal study from comparative perspectives of virtual companionship and knowledge acquisition preferences. *Journal of Computer Assisted Learning, 40*(5), 2369-2384. https://doi.org/10.1111/jcal.13032

Yan, L., Zhao, L., Echeverria, V., Jin, Y., Alfredo, R., Li, X., Gašević, D. et Martinez-Maldonado, R. (2024). VizChat: Enhancing learning analytics dashboards with contextualised explanations using multimodal generative AI chatbots. Dans A. M. Olney, I. A. Chounta, Z. Liu, O. C. Santos et I. I. Bittencourt (dir.), *Artificial intelligence in education – 25th International Conference (AIED 2024). Proceedings, Part II. Lecture notes in computer science* (vol. 14830, p. 180-193). Springer. https://doi.org/g8nwg7

Yang, X., Chen, A., PourNejatian, N., Shin, H. C., Smith, K. E., Parisien, C., Compas, C., Martin, C., Costa, A. B., Flores, M. G., Zhang, Y., Magoc, T., Harle, C. A., Lipori, G., Mitchell, D. A., Hogan, W. R., Shenkman, E. A., Bian, J. et Wu, Y. (2022). A large language model for electronic health records. *NPJ Digital Medicine, 5*, article 194. https://doi.org/gtffx6

Yuan, L. et Powell, S. J. (2013). *MOOCs and open education: Implications for higher education* [livre blanc]. CETIS. https://publications.cetis.org.uk/...
# Annexe A – Questions du prétest et du post-test

## Questions du prétest

**Q1** Qu'est-ce que l'intelligence artificielle (IA)?

a) Une technologie qui permet aux machines de reproduire les fonctions humaines et animales.

b) Un type d'ordinateur très puissant.

c) Un ensemble de règles strictes pour programmer des logiciels.

d) Un langage de programmation spécifique.

e) Je ne connais pas la réponse.

**Q2** L'apprentissage supervisé consiste à entraîner un modèle sans fournir des exemples étiquetés.

a) Vrai

b) Faux

c) Je ne connais pas la réponse.

**Q3** Un... est un ensemble de neurones artificiels interconnectés qui apprennent à partir de données.

a) Compléter la phrase

b) Je ne connais pas la réponse.

**Q4** Le test de Turing consiste à :

a) Déterminer si une machine peut résoudre des problèmes mathématiques.

b) Mettre en communication, à l'aveugle, un être humain et un ordinateur pour vérifier s'ils sont capables d'atteindre les mêmes niveaux de performance.

c) Évaluer la vitesse de traitement d'un ordinateur.

d) Tester la capacité d'un robot à effectuer des tâches physiques.

e) Je ne connais pas la réponse.

**Q5** Un système tutoriel intelligent s'adapte à la personne apprenante en fonction de ses états cognitifs, métacognitifs ou affectifs.

a) Vrai

b) Faux

c) Je ne connais pas la réponse.

**Q6** Un... se base sur un ensemble de mégadonnées pour modifier le comportement d'un robot, d'un agent ou d'un réseau de neurones artificiels.

a) Compléter la phrase

b) Je ne connais pas la réponse.

**Q7** Une... est une collection organisée de connaissances utilisée par un système expert pour tirer des conclusions ou prendre des décisions.

a) Compléter la phrase

b) Je ne connais pas la réponse.
Q8 Quel est l'objectif principal du traitement du langage naturel?

a) Traduire des textes d'une langue à une autre.

b) Analyser et comprendre le langage humain.

c) Créer des langages de programmation.

d) Je ne connais pas la réponse.

Q9 Le raisonnement automatique est la capacité d'un système informatique à tirer des conclusions à partir de faits et de règles.

a) Vrai

b) Faux

c) Je ne connais pas la réponse.

Q10 La vision par ordinateur permet aux machines de comprendre et d'interpréter des images et des vidéos.

a) Vrai

b) Faux

c) Je ne connais pas la réponse.

Questions du post-test

Q1 Le traitement du langage naturel est une technique d'IA qui permet aux machines de comprendre le langage humain.

a) Vrai

b) Faux

Q2 La... permet l'analyse, le traitement et la compréhension d'images prises à partir de caméras.

a) Compléter la phrase

Q3 Une base de connaissances est une collection de données non structurées et aléatoires utilisée par un système expert pour tirer des conclusions ou prendre des décisions.

a) Vrai

b) Faux

Q4 Un algorithme d'apprentissage automatique est :

a) Un algorithme qui suit un ensemble de règles strictes pour programmer des logiciels.

b) Un algorithme qui se base sur un ensemble de mégadonnées pour modifier le comportement d'un robot, d'un agent ou d'un réseau de neurones artificiels.

c) Une technique pour automatiser les tâches répétitives sur un ordinateur.

Q5 Quel est l'objectif principal des systèmes tutoriels intelligents?

a) Réduire le besoin de tuteurs humains.

b) Augmenter la vitesse d'apprentissage.

c) S'adapter à la personne apprenante en fonction de ses états cognitifs, métacognitifs ou affectifs.
Q6 Le test de Turing consiste à évaluer la capacité d'un ordinateur à résoudre des problèmes mathématiques complexes.

a) Vrai

b) Faux

Q7 Un réseau de neurones artificiels est un ensemble de neurones artificiels interconnectés qui apprennent à partir de données.

a) Vrai

b) Faux

Q8 Quel type d'apprentissage nécessite des données étiquetées pour entraîner le modèle?

a) Apprentissage supervisé

b) Apprentissage non supervisé

c) Apprentissage par renforcement

Q9 L'... est une technologie permettant aux machines de reproduire des fonctions humaines et animales.

a) Compléter la phrase

Q10 Le... est un procédé par lequel un système informatique effectue un enchaînement logique, à partir de propositions de départ et d'une base de connaissances, afin d'arriver à une conclusion.

a) Compléter la phrase

# Annexe B – Guide d'entretien

1. Dans quel but avez-vous utilisé l'agent conversationnel? Veuillez préciser.

2. Quel impact l'interaction avec l'agent conversationnel a-t-elle sur votre apprentissage?

3. Avez-vous trouvé que l'agent conversationnel fournissait des réponses précises et contextuelles liées au MOOC?

4. L'agent conversationnel a-t-il amélioré votre compréhension des concepts d'intelligence artificielle abordés dans le MOOC? Si oui, comment?

5. Qu'avez-vous particulièrement apprécié chez l'agent conversationnel? Expliquez en quoi il vous a été utile.

6. Quels sont les principaux problèmes que vous avez rencontrés avec l'agent conversationnel? Veuillez détailler et fournir des exemples concrets.

7. L'agent conversationnel a-t-il compris vos questions et fourni toutes les informations dont vous aviez besoin?

8. Globalement, étiez-vous satisfait(e) de l'agent conversationnel?

9. Pensez-vous que vous utiliseriez cet agent conversationnel à nouveau?

10. Comment décririez-vous votre expérience en tant qu'utilisateur(-trice) de l'agent conversationnel? Expliquez en détail.
# Annexe C – Questionnaire SUS

<table><caption>Tableau C.1
Questionnaire SUS et statistiques pour chaque affirmation</caption><thead><tr><td>Question</td><td>Affirmation</td><td>Moyenne</td><td>Médiane</td><td>Écart-type</td></tr></thead><tbody><tr><td>1</td><td>Je pense que j'aimerais utiliser cet agent conversationnel.</td><td>4,46</td><td>4</td><td>0,50</td></tr><tr><td>2</td><td>J'ai trouvé cet agent conversationnel inutilement complexe.</td><td>1,85</td><td>2</td><td>0,86</td></tr><tr><td>3</td><td>J'ai trouvé que cet agent conversationnel était facile à utiliser.</td><td>4,54</td><td>5</td><td>0,63</td></tr><tr><td>4</td><td>Je pense que j'aurais besoin d'une assistance technique pour utiliser cet agent conversationnel.</td><td>1,15</td><td>1</td><td>0,36</td></tr><tr><td>5</td><td>J'ai trouvé que les différentes fonctions de cet agent conversationnel étaient bien intégrées.</td><td>3,85</td><td>4</td><td>0,77</td></tr><tr><td>6</td><td>J'ai trouvé qu'il y avait trop d'incohérences dans cet agent conversationnel.</td><td>1,54</td><td>1</td><td>0,84</td></tr><tr><td>7</td><td>Je pense que la plupart des gens apprendraient à utiliser cet agent conversationnel très rapidement.</td><td>4,38</td><td>4</td><td>0,62</td></tr><tr><td>8</td><td>J'ai trouvé cet agent conversationnel très encombrant à utiliser.</td><td>2,15</td><td>2</td><td>1,10</td></tr><tr><td>9</td><td>Je me suis senti très confiant(e) en utilisant cet agent conversationnel.</td><td>4,31</td><td>4</td><td>0,72</td></tr><tr><td>10</td><td>J'ai dû apprendre beaucoup de choses avant de pouvoir utiliser cet agent conversationnel.</td><td>2,69</td><td>3</td><td>1,43</td></tr></tbody></table>