Le développement et le déploiement des LLM posent plusieurs problèmes, notamment les ressources informatiques nécessaires à la formation, qui peuvent être considérables. En outre, il existe des préoccupations concernant la partialité des données d'apprentissage, qui peuvent conduire le modèle à générer un contenu préjudiciable ou nuisible. La sensibilité des données utilisées pour la formation pose également des problèmes de protection de la vie privée. En outre, l'interprétabilité de ces modèles pose problème, car leur processus de prise de décision est complexe et pas toujours transparent. Enfin, l'impact environnemental du processus de formation, qui consomme beaucoup d'énergie, est une préoccupation croissante.