# Sur l'avenir des modèles de langage pré-entraînés pour la révolution de l'éducation

Will Beckford

SEGA Group Corporation

## Abstract

L'utilisation de modèles de langage pré-entraînés (PLM) dans le domaine du traitement du langage naturel (TAL) a rencontré beaucoup de succès, présentant des résultats exceptionnels sur diverses tâches et benchmarks publics. L'intégration des PLM dans l'éducation a le potentiel de révolutionner le processus d'apprentissage et d'enseignement. Cependant, il est important de considérer à la fois les impacts positifs et négatifs qui peuvent découler de cette intégration. Pour s'assurer que les avantages des PLM sont maximisés et que les conséquences négatives sont minimisées, une approche responsable et prudente doit être adoptée lors de l'intégration des PLM dans l'éducation. Cet article examine en profondeur les avantages et les inconvénients de l'utilisation des PLM dans l'éducation, et fournit des idées et des considérations pour les développements futurs.

## 1 Introduction

Les modèles de langage pré-entraînés (PLM) sont des modèles d'intelligence artificielle avancés qui ont été entraînés sur d'énormes quantités de données textuelles, ce qui les rend capables d'effectuer un large éventail de tâches linguistiques (Devlin et al., 2019; Alsentzer et al., 2019; FitzGerald et al., 2022). Ces modèles ont été développés par des sociétés telles que Google, Microsoft et Amazon et ont été utilisés dans diverses applications, notamment le traitement du langage naturel, la réponse aux questions et la génération de texte (Goodfellow et al., 2014; Xu et al., 2015; Miyato et al., 2016; Guo et al., 2018; Chen et al., 2017; Miyato et al., 2019; Chen et al., 2020b; Yasunaga et al., 2017; Chen et al., 2020a; Wang et al., 2019; Clark et al., 2018; Ruan et al., 2020; Liu et al., 2021; Chen et al., 2021).

Dans le domaine de l'éducation, les modèles linguistiques pré-entraînés ont le potentiel de révolutionner la façon dont nous enseignons et apprenons.

Ils peuvent être affinés pour des applications éducatives spécifiques, pour assister le processus d'éducation, comme la notation automatisée, la réponse aux questions et la synthèse des supports pédagogiques. De plus, ils peuvent être utilisés pour générer du matériel d'étude personnalisé, permettant aux étudiants d'apprendre à leur propre rythme et de se concentrer sur les domaines pour lesquels ils ont le plus besoin d'aide.

## 2 Related Works

### 2.1 Automated Grading

Les modèles linguistiques pré-entraînés peuvent être adaptés pour la tâche de notation des devoirs écrits dans diverses matières, telles que les arts du langage, les mathématiques et les sciences. Cela peut aider les enseignants à réduire leur charge de travail et offrir aux élèves une rétroaction rapide. Une étude précédente a utilisé un modèle BERT pré-entraîné pour construire un système de notation automatisé et l'a complété avec des données spécifiques à un domaine, comme des manuels. L'évaluation de cette étude a montré l'efficacité des modèles linguistiques pré-entraînés, offrant de meilleures performances de notation par rapport à d'autres méthodes (Sung et al., 2019).

### 2.2 Question Answering

Des modèles linguistiques pré-entraînés peuvent également être utilisés pour répondre aux questions en temps réel, offrant aux étudiants un accès immédiat à l'information. Cela peut être particulièrement utile pour les étudiants qui étudient seuls ou qui ont besoin d'une aide supplémentaire dans une matière spécifique. Des recherches antérieures ont démontré les avantages significatifs de l'utilisation de modèles de langage pré-entraînés pour répondre aux questions sur divers points de repère multiples (Devlin et al., 2019).
## 2.3 Summarization

De plus, des modèles de langage pré-entraînés peuvent être utilisés pour générer des résumés de supports pédagogiques, tels que des manuels et des articles. Cela peut aider les élèves à comprendre rapidement les points clés d'un sujet particulier, ce qui leur fait gagner du temps et des efforts. Dans une étude antérieure, l'utilisation de modèles de langage pré-entraînés pour la synthèse automatique de texte par extraction a été testée sur des supports de cours. Le modèle a été formé pour identifier les expressions et les phrases les plus pertinentes qui représentent le contenu. Les résultats de l'étude ont été positifs, les modèles de langage pré-entraînés surpassant les modèles précédents (Miller, 2019).

## 2.4 Personalized Study Materials

De plus, les modèles linguistiques préformés peuvent générer des supports d'étude personnalisés en fonction des besoins et du style d'apprentissage d'un élève spécifique. Ces modèles peuvent analyser les données des étudiants, telles que les performances aux examens, l'engagement avec les supports de cours et les styles d'apprentissage, afin de créer des supports d'étude personnalisés pour chaque étudiant. Par conséquent, cela peut aider les élèves à se concentrer sur les domaines pour lesquels ils ont le plus besoin d'aide et à apprendre à leur propre rythme.

Par exemple, des modèles linguistiques préformés peuvent être utilisés pour générer des plans d'étude personnalisés, qui peuvent inclure des lec-tures recommandées, des questions pratiques et des commentaires sur les domaines où l'étudiant a be-soin d'amélioration. Cela peut aider les élèves à concentrer leurs efforts d'étude et à améliorer leur compréhension de la matière.

En outre, des modèles linguistiques pré-entraînés peuvent également être utilisés pour générer des évaluations et des quiz personnalisés, ce qui peut aider à suivre les progrès des élèves et à identifier les domaines à améliorer. Ces modèles peuvent générer des questions adaptées au niveau des élèves et s'adapter en temps réel à leurs performances. Cela peut aider à fournir des commentaires plus précis et pertinents aux étudiants, ainsi qu'à éclairer leurs futurs efforts d'étude.

# 3 Potential Negative Outcome

Bien que l'application de modèles de langage pré-entraînés apporte de nombreux avantages, elle

s'accompagne également de nombreux résultats négatifs. Pour les étudiants, il est important de noter que si les modèles linguistiques préformés ont le potentiel d'améliorer considérablement l'expérience éducative, ils soulèvent également des inquiétudes quant à une simplification excessive et à une diminution des capacités de réflexion critique si les étudiants s'appuient trop sur ces modèles pour répondre aux questions et générer des études. matériaux. Il est crucial de trouver un équilibre entre l'utilisation des avantages de ces modèles et le maintien des principes fondamentaux de l'éducation qui mettent l'accent sur la pensée critique et la créativité.

En outre, un problème potentiel est la possibilité pour les PLM de renforcer les préjugés et la discrimination existants. Par exemple, si le modèle a été formé sur des données biaisées, il peut produire des résultats biaisés et perpétuer les stéréotypes existants. Cela pourrait avoir un impact négatif sur les communautés marginalisées et perpétuer des résultats scolaires inégaux.

Un autre problème potentiel est le risque d'une dépendance excessive aux PLM, entraînant une réduction de la pensée critique et de la créativité. Si les étudiants comptent trop sur les PLM pour leur éducation, ils risquent de ne pas développer leurs propres compétences en résolution de problèmes et en pensée critique. De plus, l'utilisation des PLM peut entraîner une diminution de l'attention portée à l'interaction et à l'orientation humaines, réduisant potentiellement le rôle des enseignants et limitant les opportunités de croissance et de développement personnels.

Enfin, il existe également des inquiétudes quant au potentiel de perte d'emplois dans le secteur de l'éducation en raison de l'utilisation croissante des PLM. L'adoption généralisée des PLM pourrait entraîner une réduction du nombre d'enseignants et de personnel de soutien nécessaire, ce qui pourrait avoir des effets négatifs sur l'économie et la main-d'œuvre.

Par conséquent, alors que les PLM ont le potentiel d'apporter de nombreux avantages à l'éducation, il est important de considérer les résultats négatifs potentiels et d'aborder leur utilisation dans l'éducation avec prudence. Des recherches supplémentaires et un déploiement responsable sont nécessaires pour s'assurer que les avantages des PLM sont réalisés, tout en minimisant tout dommage potentiel.
# 4 Conclusion

En conclusion, l'utilisation de modèles linguistiques préformés dans l'éducation a le potentiel de révolutionner la façon dont les élèves apprennent et les enseignants enseignent. Les PLM se sont révélés très prometteurs pour améliorer l'efficience et l'efficacité de l'éducation grâce à la notation automatisée, à la réponse aux questions, à la synthèse de texte et au matériel d'étude personnalisé.

Cependant, il est important de considérer également les résultats négatifs potentiels de l'utilisation des PLM dans l'éducation. L'utilisation des PLM peut renforcer les préjugés et la discrimination ex istants, réduire la pensée critique et la créativité, et entraîner des pertes d'emplois dans le secteur de l'éducation.

Par conséquent, l'intégration des PLM dans l'éducation doit être abordée avec prudence et déploiement responsable. Des recherches supplémen taires sont nécessaires pour s'assurer que les avan tages des PLM sont réalisés tout en minimisant tout dommage potentiel. Cela peut être réalisé grâce à l'élaboration de lignes directrices éthiques, à l'utilisation de données de formation diverses et inclusives et à la promotion de la pensée critique et de l'interaction humaine dans l'éducation.

Dans l'ensemble, l'utilisation des PLM dans l'éducation a le potentiel de changer la donne dans le domaine, mais il est important de l'aborder avec un œil critique et de s'assurer que les avantages sont réalisés tout en minimisant tout dommage potentiel.

# References

Emily Alsentzer, John R Murphy, Willie Boag, Wei-Hung Weng, Di Jin, Tristan Naumann, and Matthew McDermott. 2019. Publicly available clinical bert embeddings. arXiv preprint arXiv:1904.03323.

Luoxin Chen, Carol Friedman, and Joseph Finkelstein. 2017. Automated metabolic phenotyping of cytochrome polymorphisms using pubmed abstract mining. In AMIA 2017, American Medical Informatics Association Annual Symposium, Washington, DC, USA, November 4-8, 2017. AMIA.

Luoxin Chen, Francisco Garcia, Varun Kumar, He Xie, and Jianhua Lu. 2021. Industry scale semi-supervised learning for natural language understanding. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, NAACL-HLT 2021, Online, June 6-11, 2021, pages 311–318. Association for Computational Linguistics.

Luoxin Chen, Xinyue Liu, Weitong Ruan, and Jianhua Lu. 2020a. Enhance robustness of sequence labelling with masked adversarial training. In Findings of the Association for Computational Linguistics: EMNLP 2020, Online Event, 16-20 November 2020, volume EMNLP 2020 of Findings of ACL, pages 297–302. Association for Computational Linguistics.

Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. 2020b. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 8801–8811. Association for Computational Linguistics.

Kevin Clark, Minh-Thang Luong, Christopher D. Manning, and Quoc V. Le. 2018. Semi-supervised sequence modeling with cross-view training. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pages 1914–1925. Association for Computational Linguistics.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota. Association for Computational Linguistics.

Jack FitzGerald, Shankar Ananthakrishnan, Konstantine Arkoudas, Davide Bernardi, Abhishek Bhagia, Claudio Delli Bovi, Jin Cao, Rakesh Chada, Amit Chauhan, Luoxin Chen, Anurag Dwarakanath, Satyam Dwivedi, Turan Gojayev, Karthik Gopalakrishnan, Thomas Gueudre, Dilek Hakkani-Tur, Wael Hamza, Jonathan J. Hüser, Kevin Martin Jose, Haidar Khan, Beiye Liu, Jianhua Lu, Alessandro Manzotti, Pradeep Natarajan, Karolina Owczarzak, Gokmen Oz, Enrico Palumbo, Charith Peris, Chandana Satya Prakash, Stephen Rawls, Andy Rosenbaum, Anjali Shenoy, Saleh Soltan, Mukund Harakere Sridhar, Lizhen Tan, Fabian Triefenbach, Pan Wei, Haiyang Yu, Shuai Zheng, Gökhan Tür, and Prem Natarajan. 2022. Alexa teacher model: Pretraining and distilling multi-billion-parameter encoders for natural language understanding systems. In KDD '22: The 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Washington, DC, USA, August 14 - 18, 2022, pages 2893–2902. ACM.

Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. 2014. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.

Jiaxian Guo, Sidi Lu, Han Cai, Weinan Zhang, Yong Yu, and Jun Wang. 2018. Long text generation via adversarial training with leaked information. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, NAACL-HLT 2018, Online, June 6-11, 2018, pages 311–318. Association for Computational Linguistics.
ings of the AAAI conference on artificial intelligence, volume 32.

Xinyue Liu, Mingda Li, Luoxin Chen, Prashan Wani-gasekara, Weitong Ruan, Haidar Khan, Wael Hamza, and Chengwei Su. 2021. ASR n-best fusion nets. In *IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2021, Toronto, ON, Canada, June 6-11, 2021*, pages 7618-7622. IEEE.

Derek Miller. 2019. Leveraging bert for extractive text summarization on lectures. *arXiv preprint arXiv:1906.04165*.

Takeru Miyato, Andrew M Dai, and Ian Goodfellow. 2016. Adversarial training methods for semi-supervised text classification. *arXiv preprint arXiv:1605.07725*.

Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. 2019. Virtual adversarial training: A regularization method for supervised and semi-supervised learning. *IEEE Trans. Pattern Anal. Mach. Intell.*, 41(8):1979-1993.

Weitong Ruan, Yaroslav Nechaev, Luoxin Chen, Chengwei Su, and Imre Kiss. 2020. Towards an ASR error robust spoken language understanding system. In *Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event, Shanghai, China, 25-29 October 2020*, pages 901-905. ISCA.

Chul Sung, Tejas Dhamecha, Swarnadeep Saha, Tengfei Ma, Vinay Reddy, and Rishi Arora. 2019. Pre-training bert on domain resources for short answer grading. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, pages 6071-6075.

Yipei Wang, Xingyu Fan, Luoxin Chen, Eric I-Chao Chang, Sophia Ananiadou, Junichi Tsujii, and Yan Xu. 2019. Mapping anatomical related entities to human body parts based on wikipedia in discharge summaries. *BMC Bioinform.*, 20(1):430:1-430:11.

Yan Xu, Luoxin Chen, Junsheng Wei, Sophia Ananiadou, Yubo Fan, Yi Qian, Eric I-Chao Chang, and Jun'ichi Tsujii. 2015. Bilingual term alignment from comparable corpora in english discharge summary and chinese discharge summary. *BMC Bioinform.*, 16:149:1-149:10.

Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. 2017. Robust multilingual part-of-speech tagging via adversarial training. *arXiv preprint arXiv:1711.04903*.