悟道预训练模型

**悟道預訓練模型**是由北京智源人工智慧研究院發起的超大規模預訓練模型研究項目，於 2020 年 10 月正式啟動，旨在以原始創新為基礎實現預訓練技術的突破，填補以中文為核心預訓練大模型的空白，探索通向通用人工智慧的實現路徑。項目組建來自清華大學、北京大學、中國科學院計算技術研究所、中國人民大學等頂尖 AI 科學家團隊超過 100 人，共同進行「悟道」預訓練模型的研發工作。

2021 年 6 月，悟道項目在北京智源大會發布 2.0 版本科研成果，其中包括 1.75 萬億參數的全球最大通用預訓練模型和其它一系列模型、算法、應用突破，將中國預訓練模型推向新高度。

同時，為了促進預訓練成果的共享應用，「悟道」項目將包括模型、算法、工具、API 和數據的系列科研成果在悟道官方平台進行開源開放。

## 概況

「悟道」項目的框架由底層支撐、模型研發和上層應用三部分組成，其中，底層支撐包括智源的「大數據」與「大算力」平台，提供大模型研發所需的基本資源條件；在模型研發層面，研究團隊以賦予機器認知能力為核心，打造數據與知識雙輪驅動的智能模型，使其能夠像人一樣「思考」；而在上層建設中，智源研究院以悟道應用平台為依託，藉助「悟道」通用大模型賦能多種 AI 應用場景。由此，「悟道」項目形成了一個完整的框架體系，能夠支持科研團隊有條不紊地投入到預訓練大模型的研發當中。史丹福大學教授吳恩達這樣評價「悟道」：「悟道」彰顯出中國在人工智慧領域日益增長的信心和研發實力，可能會對人們未來構建的人工智慧系統類型和部署系統的方式產生深遠影響。

## 背景

預訓練技術最早被應用於計算機視覺領域，自 2015 年開始在視覺領域被廣泛應用，比如，開發者可以在龐大的 ImageNet 圖像數據上對模型進行預訓練，然後針對不同的任務對較小的數據進行進一步的微調。2017 年，Google 首次提出了 Transformer 模型，該模型使用編碼器（Encoder）和解碼器（Decoder）的整體架構，成為自然語言處理領域的基礎預訓練模型。Transformer 模型的出現是自然語言處理領域裡程碑式突破，使得自然語言處理領域各項任務性能得到極大提升。 在 Transformer 模型的基礎上，Google 人工智慧研究院在 2018 年 10 月進一步提出一個基於掩碼的預訓練模型 BERT，模型在超過 11 個自然語言處理任務上獲得了效果突破。2020 年 5 月，OpenAI 發布了具有 1750 億參數的超大規模預訓練模型 GPT-3, 並且在多個類型的下游自然語言任務上無需微調即可表現優異，引發了預訓練大模型的研發浪潮。2021 年 1 月，Google Brain 構建了 1 個基於簡化稀疏架構的預訓練模型 Switch Transformer，將語言模型的參數量擴展至 1.6 萬億規模。在智源悟道 1.75 萬億模型出現之前，Switch Transformer 是之前全球規模最大的自然語言處理預訓練模型。

## Model

「悟道」項目在多個領域開展研究工作，研發了一系列大規模預訓練模型，包括：

### 通用模型

#### 悟道萬億模型

中國首個、全球最大雙語跨模態萬億大規模預訓練模型，參數規模達到 1.75 萬億，是 GPT-3 模型的 10 倍。萬億通用模型融合自研的 GLM 語言預訓練框架和 Cogview 圖文預訓練框架，同時基於自主研發的「萬億 AI 模型基石」FastMoE2.0 高性能系統，在包括 WudaoCorpora 在內的總量 4.9TB 清洗過的高質量數據集上進行訓練，能夠支持圖文生成、圖文檢索、文本生成、文本理解等中英雙語多模態任務類型。

### 多模態

#### Brivl 模型

全球首個基於圖文弱相關假設的中英文多模態雙塔模型，參數規模達到 53 億。BriVL 模型的訓練數據含 6.5 億圖文對，遠超 OpenAI CLIP 的近 2 倍。在公平比較的條件下，BriVL 模型在 ImageNet 和 MSCOCO 圖文檢索任務上超過最好的英文雙塔模型 OpenAI CLIP 和 Google ALIGN。

#### 多模態多語言預訓練模型

參數規模達到 10 億，全球體量最大的多模態多語言預訓練模型。模型涵蓋中、英、法、德、捷克、日、韓 7 種語言，在 MSCOCO 和 Multi30K 上的多語言圖文檢索任務上取得最優效果。

#### Cogview

世界上最大的中文多模態生成模型，參數量為 40 億。模型支持文生成圖為基礎的多領域下游任務，在應用維度上具備通用性。經過翻譯後，CogView 在公認的 MS COCO 文生圖任務數據集上取得了超過 DALL・E 的優異效果，獲得世界第一。

### 文本

#### CPM

基於 Encoder-Decoder 架構的中英雙語大規模預訓練模型，稠密模型參數達到 100 億。通過 MoE 技術將模型參數規模放大到 1000 億，獲得進一步的性能提升。模型支持文本生成等一系列自然語言處理任務。

#### GLM

大規模英文文本通用（多任務）預訓練模型，該通用模型參數量達到 100 億，更通用的預訓練模型，首次打破 BERT 和 GPT 壁壘，開創性地以單一模型兼容所有主流架構，兼顧理解與生成能力。

#### Transformer XL

基於 Transformer-XL 訓練的以中文為核心的預訓練語言生成模型，參數規模為 29 億，可支持包括文章生成、智能作詩、評論 / 摘要生成等主流 NLG 任務。

#### Lawformer

世界首個法律領域長文本中文預訓練模型，參數規模達到 1 億。

### 蛋白質

#### Prottrans

國內最大的蛋白質預訓練模型，參數總量達到 30 億，遠遠超過 3800 萬的基線模型。模型支持接觸預測、蛋白質摺疊、二級結構預測等多個生物分子領域的任務。同時，模型相較於基線模型，在上述任務上都取得了大幅的效果提升。

## 生態建設

2021 年 6 月，"悟道" 已與包括阿里巴巴、小米、美團、快手、360、新華社在內的 23 家產業單位達成戰略合作意向，就悟道預訓練大模型進行產業應用合作，從底層數據資源、中層模型研發到上層 AI 應用推進產業應用生態的建設，從單點突破提升至全方位突破。

同時，為了促進大模型最新研發成果的開放共享，「悟道」項目在悟道官方平台 [9] 開放了一系列模型、算法、工具、API 以及數據集。具體表單如下：

 

## 評論

* 2021 年 6 月，CCTV 新聞頻道評論悟道大模型發布：「大模型對於人工智慧發展具有重要意義，未來將可能基於大模型形成變革性的 AI 產業基礎設施」。
* 2021 年 6 月，環球時報發表專題評論文章，表示悟道項目的最新成果發布是「成為全球人工智慧領導者雄心壯志的最新信號」。
* 2021 年 6 月，科技資訊網站 PingWest 在悟道發布後發表文章評論：「BAAI 和 OpenAI 都以基礎研究為目標，這些基礎研究有可能顯著提高深度學習技術的性能，從而增強以前無法想像的新體驗。
* 2021 年 6 月，新聞網站 Explica.co 評論「悟道」項目：「悟道的重要意義是知道如何擴展模型並有能力這樣做」。
* 對於悟道項目的成果發布，Facebook AI 工程師 Elvis Saravia 表示：「悟道萬億模型是 GPT-3 的 10 倍，非常期待模型可以取得超過人類水準的表現」。
* Nervana 聯合創始人 Naveen Ra 在了解悟道成果發布後表示：「悟道團隊做出了一些非常有趣的工作」，並且認為悟道是一個法律層面合規的研究項目。
* 《The Master Algorithm》作者 Pedro Domingos 對於悟道萬億模型的超大參數規模表示：「也許是時候用度量前綴表示深度學習網絡參數規模了」。

## 應用

* 作詩：模型的文字創作能力使其支持對各種給定的題目創作出媲美詩人的精美詩歌，同時有作藏頭詩的功能。
* 人設問答：模型支持模擬和扮演不同人設，從而對問題給出多角度回答。
* 看圖說話：模型描述用戶上傳圖片中的細節與精彩。
* 圖文問答：對給定圖片提出問題，模型為你精準解答。
* 圖片生成：模型根據用戶文字描述自動生成圖片。
* 圖靈測試：包括作詩、對聯、標題生成、問答、策論、繪圖、識圖 8 項圖靈測試。

## 文獻