L'architecture des Generative Pre-trained Transformers (GPT) a été introduite par OpenAI en 2018. Cependant, la base de cette architecture repose sur le travail de recherche effectué par des chercheurs de Google qui ont inventé l'architecture du Tranformer en 2017. OpenAI a ensuite développé et publié le premier modèle GPT, appelé GPT-1, en juin 2018, en utilisant cette architecture du transformateur pour créer un modèle de langage génératif pré-entraîné.