ChatGPT est un modèle d'IA conversationnel développé par OpenAI basé sur l'architecture Generative Pretrained Transformer 3 (GPT-3). Le modèle a été formé sur une gamme variée de textes Internet, ce qui lui permet de générer un texte de type humain en réponse aux invites qui lui sont données.
Lorsqu'un utilisateur fournit une entrée, le modèle traite le texte et génère une réponse en prédisant le mot suivant le plus probable en fonction de l'entrée et de ses données d'apprentissage. La réponse est ensuite générée par échantillonnage à partir des meilleures prédictions. L'ensemble du processus est exécuté par le modèle en temps réel.
L'architecture GPT-3 se compose de plusieurs blocs de transformateurs, chacun contenant des mécanismes d'auto-attention et des réseaux de neurones à anticipation, qui permettent au modèle de comprendre et de générer du texte en apprenant des modèles dans les données d'apprentissage.