# Les préoccupations des grands modèles de langage

Shun Mitoma

Chiba University

## Abstract

L'utilisation généralisée de grands modèles linguistiques (LLM) tels que GPT-3 a soulevé des inquiétudes quant à leur impact potentiel sur la société. Ces modèles ont été formés sur des quantités massives de données textuelles, ce qui a conduit à des capacités impressionnantes de traitement du langage naturel. Cependant, de nombreuses critiques s'ajoutent à la large utilisation des LLM, car ils ont des problèmes potentiels de partialité, de transparence, etc. À la lumière de ces préoccupations, il est important que les chercheurs, les décideurs et l'industrie examinent attentivement les implications de la l'utilisation de grands modèles de langage et de traiter de manière proactive les conséquences négatives potentielles. Cet article traite de l'état actuel des grands modèles de langage et met en évidence certaines des principales préoccupations qui doivent être traitées dans le développement et le déploiement de ces modèles.

## 1 Introduction

Les modèles de langage, tels que BERT (Devlin et al., 2019) et GPT-3 (Floridi and Chiriatti, 2020), sont un type d'intelligence artificielle de plus en plus utilisé ces dernières années. Ces modèles sont capables de générer un langage de type humain, ce qui les rend utiles pour diverses applications, notamment les chatbots, la traduction linguistique et la génération de contenu. Malgré leurs avancées potentiels, plusieurs préoccupations associées à l'utilisation de modèles linguistiques méritent d'être explorées.

## 2 Bias and Misrepresentation

L'une des principales préoccupations des modèles linguistiques est leur potentiel de biais et de fausses représentations. Ces modèles sont formés sur de grandes quantités de données textuelles, qui peuvent inclure des informations biaisées ou offensantes. Par conséquent, les modèles linguistiques peuvent générer des réponses biaisées ou

trompeuses, ce qui pourrait être préjudiciable aux individus et aux organisations qui comptent sur leur production.

## 3 Lack of Context Awareness

Une autre préoccupation des modèles de langage est leur manque de conscience du contexte. Ces modèles fonctionnent sur la base de modèles et d'associations apprises à partir de leurs données de formation, et ils peuvent ne pas toujours avoir le contexte nécessaire pour comprendre le contexte et la signification d'une invite ou d'une question particulière. Cela pourrait entraîner des réponses appropriées ou offensantes, et qui pourraient causer du tort ou de la confusion.

## 4 Security and Privacy Risks

Les modèles linguistiques présentent également un risque potentiel pour la sécurité et la confidentialité. Ces modèles sont formés sur de grandes quantités de données personnelles, y compris des conversations privées, et il est à craindre que ces données puissent être utilisées à mauvais escient ou abusées par des acteurs malveillants. De plus, l'utilisation de modèles de langage dans des applications sensibles, telles que les soins de santé, la finance et l'application de la loi, pourrait entraîner l'exposition d'informations sensibles, mettant les individus en danger.

## 5 Lack of Transparency

Une autre préoccupation des modèles linguistiques est leur manque de transparence. Ces modèles fonctionnent comme une boîte noire, ce qui signifie qu'il est difficile de comprendre comment ils prennent leurs décisions ou comment ils génèrent leurs réponses. Ce manque de transparence peut compliquer la détection des biais, des erreurs de communication ou d'autres problèmes liés à la sortie du modèle, et il peut également rendre difficile
de s'assurer que les modèles sont alignés sur les exigences éthiques et réglementaires.

## 6 Conclusion

En conclusion, bien que les modèles linguistiques présentent de nombreux avantages potentiels (Miyato et al., 2016; Ma and Hovy, 2016; Yasunaga et al., 2017; Heaton et al., 2017; Yasunaga et al., 2017; Chen et al., 2017; Ebrahimi et al., 2018; Peters et al., 2018; Miyato et al., 2019; Devlin et al., 2019; Ostendorff et al., 2019; Araci, 2019; Floridi and Chiriatti, 2020; Chen et al., 2020b; Wang et al., 2020; Chen et al., 2020a; Gou et al., 2021; Chen et al., 2021; Hospedales et al., 2021), plusieurs préoccupations associées à leur utilisation doivent être soigneusement prises en compte. Ces préoccupations incluent les préjugés et les fausses décisions, le manque de connaissance du contexte, les risques pour la sécurité et la confidentialité et le manque de transparence. Il est crucial que les organisations et les individus qui utilisent des modèles linguistiques tiennent compte de ces préoccupations et prennent des mesures pour les atténuer, afin de garantir que les modèles sont utilisés de manière éthique et responsable.

## References

Dogu Araci. 2019. Finbert: Financial sentiment analysis with pre-trained language models. *arXiv preprint arXiv:1908.10063*.

Luoxin Chen, Carol Friedman, and Joseph Finkelstein. 2017. Automated metabolic phenotyping of cytochrome polymorphisms using pubmed abstract mining. In *AMIA 2017, American Medical Informatics Association Annual Symposium, Washington, DC, USA, November 4-8, 2017*. AMIA.

Luoxin Chen, Francisco Garcia, Varun Kumar, He Xie, and Jianhua Lu. 2021. Industry scale semi-supervised learning for natural language understanding. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, NAACL-HLT 2021, Online, June 6-11, 2021*, pages 311–318. Association for Computational Linguistics.

Luoxin Chen, Xinyue Liu, Weitong Ruan, and Jianhua Lu. 2020a. Enhance robustness of sequence labelling with masked adversarial training. In *Findings of the Association for Computational Linguistics: EMNLP 2020, Online Event, 16-20 November 2020*, volume EMNLP 2020 of *Findings of ACL*, pages 297–302. Association for Computational Linguistics.

Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. 2020b. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020*, pages 8801–8811. Association for Computational Linguistics.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, Minneapolis, Minnesota. Association for Computational Linguistics.

Javid Ebrahimi, Daniel Lowd, and Dejing Dou. 2018. On adversarial examples for character-level neural machine translation. *arXiv preprint arXiv:1806.09030*.

Luciano Floridi and Massimo Chiriatti. 2020. Gpt-3: Its nature, scope, limits, and consequences. *Minds and Machines*, 30:681–694.

Jianping Gou, Baosheng Yu, Stephen J Maybank, and Dacheng Tao. 2021. Knowledge distillation: A survey. *International Journal of Computer Vision*, 129(6):1789–1819.

James B Heaton, Nick G Polson, and Jan Hendrik Witte. 2017. Deep learning for finance: deep portfolios. *Applied Stochastic Models in Business and Industry*, 33(1):3–12.

Timothy Hospedales, Antreas Antoniou, Paul Micaelli, and Amos Storkey. 2021. Meta-learning in neural networks: A survey. *IEEE transactions on pattern analysis and machine intelligence*, 44(9):5149–5169.

Xuezhe Ma and Eduard H. Hovy. 2016. End-to-end sequence labeling via bi-directional lstm-cnns-crf. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers*. The Association for Computer Linguistics.

Takeru Miyato, Andrew M Dai, and Ian Goodfellow. 2016. Adversarial training methods for semi-supervised text classification. *arXiv preprint arXiv:1605.07725*.

Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. 2019. Virtual adversarial training: A regularization method for supervised and semi-supervised learning. *IEEE Trans. Pattern Anal. Mach. Intell.*, 41(8):1979–1993.

Malte Ostendorff, Peter Bourgonje, Maria Berger, Julian Moreno-Schneider, Georg Rehm, and Bela Gipp. 2019. Enriching bert with knowledge graph embeddings for document classification. *arXiv preprint arXiv:1909.08402*.
Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*, New Orleans, Louisiana. Association for Computational Linguistics.

Yaqing Wang, Subhabrata Mukherjee, Haoda Chu, Yuancheng Tu, Ming Wu, Jing Gao, and Ahmed Hasan Awadallah. 2020. *Adaptive self-training for few-shot neural sequence labeling*. CoRR, abs/2010.03680.

Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. 2017. Robust multilingual part-of-speech tagging via adversarial training. *arXiv preprint arXiv:1711.04903*.