Quelles sont les limites de ChatGPT ? Explications en 5mn (stéréotypes, erreurs factuelles, ...)
Channel: Inria Flowers
Date: 2023-04-13

Les modèles de langage, comme ChatGPT, Gemini ou Mistral, on montré des capacités impressionnantes pour des tâches très variées (voir vidéo 1 de la mini-série). Cependant, ils ont aussi de nombreuses limites et faiblesses ! Dans cette vidéo, nous expliquons les principales: 
- les modèles de langage sont entraînés à partir de données dont la qualité et l'origine peut être très variable. Le choix de ces données n'est souvent pas précisément contrôlé.
- ces données, et donc les modèles de langage, peuvent contenir "biais", c’est-à-dire une manière de penser automatique, qui ne repose pas sur un raisonnement ou sur des faits. Ces biais peuvent être injustes et renforcer des stéréotypes. Ces biais, s’ils ne sont pas contrôlés, seront alors répercutés dans les productions et les usages que l’on fait de ces modèles.
- difficultés pour tracer les sources d'information: les connaissances exprimées par un modèle de langage ne peuvent être tracées, remontées à sa source de données correspondante dans le corpus d’entraînement du modèle. 
- l'entrainement de ces modèles nécessite de quantités gigantesque de données et de calcul
- leurs productions peuvent contenir des erreurs factuelles, et parfois même "inventer" complètement des faits ou des raisonnements (on parle d'"hallucinations").
- en particulier, ces modèles n'ont pas appris en étant connectés au monde physique et peuvent faire des erreurs élémentaires de compréhension du monde physique, ou plus généralement de sens commun (en anglais, on parle de "grounding problem")
- les productions des modèles de langage ont souvent un ton qui ressemble à celui d'un expert sûr de ses connaissances: leurs réponses sont en apparence parfois si crédibles et développées qu’il est facile pour un humain d’associer au modèle une intention, et de penser que le modèle a construit sa réponse dans un processus prenant en compte l’humain à qui il parle, ce qui n’est pas le cas.
- Les modèles comme ChatGPT, Gemini ou Mistral sont contrôlés par des acteur privés, et peu d'informations concernant leur fonctionnement, par exemple la manière dont ils traitent quelles données, ne sont pas disponibles. 

Cette vidéo présente les limites et faiblesses majeures des modèles de langage tels que ChatGPT, Gemini ou Mistral

Chapitres:
0:00 : Introduction
0:34 : Biais et alignement
1:56 : Connaissances statiques
2:24 : Impossible de donner les sources
2:55 : Quantité de données
4:02 : Hallucinations
4:36 : Absence de compréhension pratique
5:33 : Interprétation
5:56 : Conclusion

***** Série "ChatGPT en 5 minutes *****
Cette vidéo fait partie d'une mini-série présentant les modèles de langage (http://developmentalsystems.org/chatgpt_5_minutes/fr/ ). Elle s'adresse à un public large, par exemple élèves et enseignants de collèges et lycées, et plus généralement aux non spécialistes de l'informatique ou de l'IA. 
Autres épisodes:
- Comment fonctionne ChatGPT? Un tour d’horizon en moins de 5mn: https://www.youtube.com/watch?v=K8gOvC8gvB4
- Le prompting, ou l’art de se faire comprendre par ChatGPT: Explication en 5mn : https://www.youtube.com/watch?v=8IQ9i_QoA3A
- Les forces des modèles de langage: https://www.youtube.com/watch?v=5HVR3cVFot4
- Prompting avancé et raisonnements: https://www.youtube.com/watch?v=uLMqTPmvqPw
- GPT-4, Gemini, etc : quelles applications concrètes ? https://www.youtube.com/watch?v=E2hPk3adUlI
- Faire manipuler des outils à ChatGPT : https://www.youtube.com/watch?v=gUn79szTWw0

***** Réalisation *****
Vidéo réalisée par l’équipe Flowers du centre Inria de l'Université de Bordeaux (https://flowers.inria.fr/ ), travaillant dans le domaine de l'IA développementale.

Contributeurs :
-Alexandre Torres–Leguet (Twitter: @AlexandreTL2)
-Clément Romac (@ClementRomac)
-Thomas Carta (@CartaThomas2)
-Pierre-Yves Oudeyer (@pyoudeyer)

***** License *****
Cette vidéo est distribuée sous licence Creative Commons CC-BY

***** Sources *****
- babylm.github.io
- flaticon.com pour les icons utilisés