BERT 基于变换器的双向编码器表示技术英語Bidirectional Encoder Representations from TransformersBERT是用于自然语言处理NLP的预训练技术由Google提出年雅各布德夫林和同事创建并发布了BERTGoogle正在利用BERT来更好地理解用户搜索语句的语义 年的一项文献调查得出结论在一年多一点的时间里BERT已经成为NLP实验中无处不在的基线算上分析和改进模型的研究出版物超过篇 最初的英语BERT发布时提供两种类型的预训练模型BERTBASE模型一个层维个自注意头self attention headM参数的神经网络结构BERTLARGE模型一个层维个自注意头M参数的神经网络结构两者的训练语料都是BooksCorpus以及英語維基百科语料单词量分别是億以及億