悟道預訓練模型是由北京智源人工智慧研究院發起的超大規模預訓練模型研究專案，于2020年10月正式啟動，旨在以原始創新為基礎實現預訓練技術的突破，填補以中文為核心預訓練大模型的空白，探索通向通用人工智慧的實現路徑。專案組建來自清華大學、北京大學、中國科學院計算技術研究所、中國人民大學等頂尖AI科學家團隊超過100人，共同進行「悟道」預訓練模型的研發工作。
2021年6月，悟道專案在北京智源大會發布2.0版本科研成果，其中包括1.75萬億參數的全球最大通用預訓練模型和其它一系列模型、演算法、應用突破，將中國預訓練模型推向新高度。
同時，爲了促進預訓練成果的共享應用，「悟道」專案將包括模型、演算法、工具、API和數據的系列科研成果在悟道官方平臺進行開源開放。
概況
「悟道」專案的框架由底層支撐、模型研發和上層應用三部分組成，其中，底層支撐包括智源的「大數據」與「大算力」平臺，提供大模型研發所需的基本資源條件；在模型研發層面，研究團隊以賦予機器認知能力為核心，打造數據與知識雙輪驅動的智慧模型，使其能夠像人一樣「思考」；而在上層建設中，智源研究院以悟道應用平臺為依託，藉助「悟道」通用大模型賦能多種AI應用場景。由此，「悟道」專案形成了一個完整的框架體系，能夠支援科研團隊有條不紊地投入到預訓練大模型的研發當中。斯坦福大學教授吳恩達這樣評價「悟道」：「悟道」彰顯出中國在人工智慧領域日益增長的信心和研發實力，可能會對人們未來構建的人工智慧系統型別和部署系統的方式產生深遠影響。
背景
預訓練技術最早被應用於計算機視覺領域，自2015年開始在視覺領域被廣泛應用，比如，開發者可以在龐大的ImageNet影象數據上對模型進行預訓練，然後針對不同的任務對較小的數據進行進一步的微調。2017年，Google首次提出了Transformer模型，該模型使用編碼器（Encoder）和解碼器（Decoder）的整體架構，成為自然語言處理領域的基礎預訓練模型。Transformer模型的出現是自然語言處理領域裡程碑式突破，使得自然語言處理領域各項任務效能得到極大提升。 在Transformer模型的基礎上，Google人工智慧研究院在2018年10月進一步提出一個基於掩碼的預訓練模型BERT，模型在超過11個自然語言處理任務上獲得了效果突破。2020年5月，OpenAI發佈了具有1750億參數的超大規模預訓練模型GPT-3,並且在多個型別的下游自然語言任務上無需微調即可表現優異，引發了預訓練大模型的研發浪潮。2021年1月，Google Brain構建了1個基於簡化稀疏架構的預訓練模型Switch Transformer，將語言模型的參數量擴充套件至 1.6 萬億規模。在智源悟道1.75萬億模型出現之前，Switch Transformer是之前全球規模最大的自然語言處理預訓練模型。
Model
「悟道」專案在多個領域開展研究工作，研發了一系列大規模預訓練模型，包括：
通用模型
悟道萬億模型
中國首個、全球最大雙語跨模態萬億大規模預訓練模型，參數規模達到1.75萬億，是GPT-3模型的10倍。萬億通用模型融合自研的GLM語言預訓練框架和Cogview圖文預訓練框架，同時基於自主研發的「萬億AI模型基石」FastMoE2.0高效能系統，在包括WudaoCorpora在內的總量4.9TB清洗過的高質量數據集上進行訓練，能夠支援圖文產生、圖文檢索、文字產生、文字理解等中英雙語多模態任務型別。
多模態
Brivl 模型
全球首個基於圖文弱相關假設的中英文多模態雙塔模型，參數規模達到53億。BriVL模型的訓練數據含6.5億圖文對，遠超OpenAI CLIP的近2倍。在公平比較的條件下，BriVL模型在ImageNet和MSCOCO圖文檢索任務上超過最好的英文雙塔模型OpenAI CLIP和Google ALIGN。
多模態多語言預訓練模型
參數規模達到10億，全球體量最大的多模態多語言預訓練模型。模型涵蓋中、英、法、德、捷克、日、韓7種語言，在MSCOCO和 Multi30K上的多語言圖文檢索任務上取得最優效果。
Cogview
世界上最大的中文多模態產生模型，參數量為40億。模型支援文產生圖為基礎的多領域下游任務，在應用維度上具備通用性。經過翻譯后，CogView在公認的MS COCO 文生圖任務數據集上取得了超過DALL· E的優異效果，獲得世界第一。
文字
CPM
基於Encoder-Decoder架構的中英雙語大規模預訓練模型，稠密模型參數達到100億。通過MoE技術將模型參數規模放大到1000億，獲得進一步的效能提升。模型支援文字產生等一系列自然語言處理任務。
GLM
大規模英文文字通用（多工）預訓練模型，該通用模型參數量達到100億，更通用的預訓練模型，首次打破BERT和GPT壁壘，開創性地以單一模型相容所有主流架構，兼顧理解與產生能力。
Transformer XL
基於Transformer-XL訓練的以中文為核心的預訓練語言產生模型，參數規模為29億，可支援包括文章產生、智慧作詩、評論/摘要產生等主流NLG任務。
Lawformer
世界首個法律領域長文字中文預訓練模型，參數規模達到1億。
蛋白質
Prottrans
國內最大的蛋白質預訓練模型，參數總量達到30億，遠遠超過3800萬的基線模型。模型支援接觸預測、蛋白質摺疊、二級結構預測等多個生物分子領域的任務。同時，模型相較於基線模型，在上述任務上都取得了大幅的效果提升。
生態建設
2021年6月，"悟道"已與包括阿里巴巴、小米、美團、快手、360、新華社在內的23家產業單位達成戰略合作意向，就悟道預訓練大模型進行產業應用合作，從底層數據資源、中層模型研發到上層AI應用推進產業應用生態的建設，從單點突破提升至全方位突破。
同時，爲了促進大模型最新研發成果的開放共享，「悟道」專案在悟道官方平臺 9  開放了一系列模型、演算法、工具、API以及數據集。具體表單如下：
評論
* 2021年6月，CCTV新聞頻道評論悟道大模型發佈：「大模型對於人工智慧發展具有重要意義，未來將可能基於大模型形成變革性的AI產業基礎設施」。
* 2021年6月，環球時報發表專題評論文章，表示悟道專案的最新成果發佈是「成為全球人工智慧領導者雄心壯志的最新訊號」。
* 2021年6月，科技資訊網站PingWest在悟道發佈后發表文章評論：「BAAI和OpenAI都以基礎研究為目標，這些基礎研究有可能顯著提高深度學習技術的效能，從而增強以前無法想像的新體驗。
* 2021年6月，新聞網站Explica.co評論「悟道」專案：「悟道的重要意義是知道如何擴充套件模型並有能力這樣做」。
* 對於悟道專案的成果發佈，Facebook AI工程師Elvis Saravia表示：「悟道萬億模型是GPT-3的10倍，非常期待模型可以取得超過人類水準的表現」。
* Nervana聯合創始人Naveen Ra在瞭解悟道成果發佈后表示：「悟道團隊做出了一些非常有趣的工作」，並且認為悟道是一個法律層面合規的研究專案。
* 《The Master Algorithm》作者Pedro Domingos對於悟道萬億模型的超大參數規模表示：「也許是時候用度量字首表示深度學習網路參數規模了」。
應用
* 作詩：模型的文字創作能力使其支援對各種給定的題目創作出媲美詩人的精美詩歌，同時有作藏頭詩的功能。
* 人設問答：模型支援模擬和扮演不同人設，從而對問題給出多角度回答。
* 看圖說話：模型描述使用者上傳圖片中的細節與精彩。
* 圖文問答：對給定圖片提出問題，模型為你精準解答。
* 圖片產生：模型根據使用者文字描述自動產生圖片。
* 圖靈測試：包括作詩、對聯、標題產生、問答、策論、繪圖、識圖8項圖靈測試。