呢個都催生唨啲預訓練系統似BERT（從Transformer嚟嘅雙向編碼器表示）同GPT（生成式預訓練Transformer）之類，啲系統經已利用到啲好龐大嘅通用語言數據集（似Wikipedia Corpus同埋Common Crawl）嚟進行訓練，而且仲可以根據特定嘅語言任務微調得。