BookCorpus BookCorpus 也称Toronto Book Corpus 是一个数据集包含互联网上收集的约  本未出版书籍的文本它是用于训练OpenAI的GPT初始版本的主要语料库并用作包括谷歌的BERT在内的其他早期大型语言模型的训练数据 该数据集包含约  亿单词涵盖了多种类型的书籍包括浪漫小说科幻小说和奇幻小说 多伦多大学和麻省理工学院的研究人员在  年的一篇题为Aligning Books and Movies Towards Storylike Visual Explanations by Watching Movies and Reading Books的论文中介绍了该语料库作者将其描述为由尚未出版的作者撰写的免费书籍 该数据集起初托管在多伦多大学的网页上 原始数据集不再公开但多伦多大学创建了一个镜像版本 BookCorpusOpen 虽然在  年的原始论文中没有记录这个网站但现在已知的删除语料库书籍的网站是Smashwords