GPT-1 GPT全称基于转换器的生成式预训练模型Generative Pretrained Transformer 是继年Google推出Transformer架构后OpenAI推出的第一个大型语言模型年OpenAI发布了一篇名为通过生成式预训练提高语言理解能力Improving Language Understanding by Generative PreTraining的论文其中介绍了该初期模型以及基于转换器的生成式预训练模型的总体概念  在此之前表现最佳的神经网络自然语言处理模型主要采用依靠大量手动标记数据的监督学习这种依赖于监督学习的方法限制了它们在未经精细标注的数据集上的应用并使训练超大模型相当耗时且开支非常昂贵许多语言例如斯瓦希里语或海地克里奥尔语由于缺乏能创建起语料库的文本资料导致模型难以对其进行翻译和解释相比之下GPT采用了半监督方法包含两个阶段无监督的生成式预训练阶段使用目标函数来设置初始参数以及有监督的判别式微调英语finetuning machine learning阶段将这些参数在目标任务上进行微调 与之前基于注意力增强的循环神经网络RNN技术相比GPT采用的Transformer架构为模型提供了比循环机制更加结构化的记忆使其拥有跨多样任务的稳健传输性能