BERT

基於變換器的雙向編碼器表示技術 ( BERT ） 是用於自然語言處理 （ NLP ） 的預訓練技術 ， 由Google提出 。 2018年 ， 雅各布 · 德夫林和同事創建併發布了BERT 。 Google正在利用BERT來更好地理解用戶搜索語句的語義 。 2020年的一項文獻調查得出結論 ： " 在一年多一點的時間裏 ， BERT已經成爲NLP實驗中無處不在的基線 " ， 算上分析和改進模型的研究出版物超過150篇 。 最初的英語BERT發佈時提供兩種類型的預訓練模型 ： （ 1 ） BERTBASE模型 ， 一個12層 ， 768維 ， 12個自注意頭 （ self attention head ） ， 110M參數的神經網絡結構 ； （ 2 ） BERTLARGE模型 ， 一個24層 ， 1024維 ， 16個自注意頭 ， 340M參數的神經網絡結構 。 兩者的訓練語料都是BooksCorpus以及英語維基百科語料 ， 單詞量分別是8億以及25億 。