GPT-3

生成型预训练變換模型 3 （，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數，需要700GB来存储。该模型在许多任务上展示了强大的零样本和少样本的能力。

OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權。

GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄。李開復稱卷積神經網路與GPT-3為人工智能重要的改善，两者皆是模型加海量数据的成果。

背景

据《经济学人》报道，改进的算法、强大的计算机和数字化数据的增加推动了机器学习的革命，2010 年代的新技术导致“任务的快速改进”，包括操纵语言。

训练和能力

在2020年5月28日，由OpenAI团队中31名工程师和研究人员撰写的arXiv预印本介绍了第三代“最先进的语言模型”——GPT-3的开发情况。该团队相对于GPT-2，将GPT-3的容量增加了两个数量级以上，使其成为迄今为止最大的非稀疏语言模型。 Four preprints were released between May 28 and July 22, 2020.

斯坦福大学的研究发现，GPT3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5（ChatGPT的同源模型），更是解决了93%的任务，心智相当于9岁儿童。但这并不意味着，ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。 因此，相比探究GPT-3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身。

 迭代版本 
 GPT-3.5 
2022年3月1日，OpenAI在其API中提供了新版本的GPT-3和Codex，名称为“text-davinci-003”和“code-davinci-002”，具有编辑和插入的功能 。
 GPT-3.5 Turbo 

 参见 

 OpenAI
 ChatGPT
 提示工程
 悟道预训练模型
 聊天机器人
 通用人工智能
 图灵测试
 生成对抗网络
 Transformer模型
 注意力机制
 LaMDA(對話語言模型)
 深度学习
 OpenAI Codex
 GitHub Copilot

 參考資料 

 外部链接 

  Playground for GPT3.5 and Codex 

Category:OpenAI
Category:交互式叙事
Category:聊天机器人
Category:人工智能應用
Category:2022年面世的產品
Category:人工智慧
Category:機器學習
Category:大型语言模型
Category:基于转换器的生成式预训练模型