GPT-3

生成型预训练變換模型 3 （，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數，需要700GB来存储，為有史以来參數最多的神經網路模型。该模型在许多任务上展示了强大的零样本和少样本的能力。

OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權。

GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄。李開復稱卷積神經網路與GPT-3為人工智能重要的改善，两者皆是模型加海量数据的成果。

背景

据《经济学人》报道，改进的算法、强大的计算机和数字化数据的增加推动了机器学习的革命，2010 年代的新技术导致“任务的快速改进”，包括操纵语言。

训练和能力

在2020年5月28日，由OpenAI团队中31名工程师和研究人员撰写的arXiv预印本介绍了第三代“最先进的语言模型”——GPT-3的开发情况。该团队相对于GPT-2， 将GPT-3的容量增加了两个数量级以上，使其成为迄今为止最大的非稀疏语言模型。

斯坦福大学的研究发现，GPT3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5(ChatGPT的同源模型)，更是解决了93%的任务，心智相当于9岁儿童！但这并不意味着，ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。 因此，相比探究GPT-3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身。

GPT-3.5 
2022年3月1日，OpenAI在其API中提供了新版本的GPT-3和Codex，名称为“text-davinci-003”和“code-davinci-002”，具有编辑和插入的功能 。

参见 

 OpenAI
 ChatGPT
 提示工程
 悟道预训练模型
 聊天机器人
 通用人工智能
 图灵测试
 生成对抗网络
 Transformer模型
 LaMDA(對話語言模型)
 深度学习
 OpenAI Codex
 GitHub Copilot

外部链接 
 
  Playground for GPT3.5 and Codex

參考資料 

OpenAI
交互式叙事
聊天机器人
人工智能應用
語言模型
2022年面世的產品
人工智慧
機器學習
大型语言模型
基于转换器的生成式预训练模型