基於轉換器的生成式預訓練模型（，GPT）是一種大型語言模型（LLM），也是生成式人工智慧的重要框架。首個 GPT 由 OpenAI 於 2018 年推出。GPT 模型是基於 Transformer 模型的人工神經網路，在大型未標記文字資料集上進行預訓練，並能夠生成類似於人類自然語言的文字。截至 2023 年，大多數 LLM 都具備這些特徵，並廣泛被稱為 GPT。 OpenAI 釋出了具有極大影響力的 GPT 基礎模型，它們按順序編號，構成了 GPTn 系列。由於其規模（可訓練引數數量）和訓練程度的提升，每個模型相較於前一個都顯著增強。其中最新的模型是 GPT4o，於 2024 年 5 月釋出。這些模型為更具任務特定性的 GPT 系統奠定了基礎，包括經過微調以適應特定指令的模型 而這些又反過來為 ChatGPT 聊天機器人服務提供了支援 。 術語 GPT 還用於命名和描述其他開發者所開發的模型。例如，其他 GPT 基礎模型包括開發的一系列模型，以及開發的七個模型。此外，不同行業的公司還在其各自領域開發了執行特定任務的 GPT，例如賽富時的 EinsteinGPT（用於客戶關係管理）和彭博的 BloombergGPT（用於金融領域）。 歷史 初步發展 生成式預訓練（，簡稱 GP）是機器學習應用中一個歷史悠久的概念，但直到 2017 年，Google 的員工發明了 Transformer 模型，這才使得大型語言模型如 BERT（2018 年）和 XLNet（2019 年）成為可能，這些模型是預訓練的轉換器（，簡稱 PT），但未被設計為生成式，而是 僅編碼器。2018 年，OpenAI 發表了題為《透過生成式預訓練提高語言理解能力》的文章，在其中首次介紹了基於轉換器的生成式預訓練模型（GPT）系統（GPT1）。 在基於轉換器的架構出現之前，表現最優秀的神經自然語言處理（NLP）模型通常透過大量手動標記的資料進行監督學習。這種依賴於監督學習的開發途徑限制了在未經充分標記的資料集上的應用，並且使得訓練極大型語言模型相當耗時且開支非常昂貴。 OpenAI 採用方法來構建大規模生成式系統，同時也是首個使用 Transformer 模型的方法。該方法包括兩個階段：無監督的生成式 預訓練 階段，使用目標函式來設定初始引數；以及有監督的判別式 階段，將這些引數在目標任務上進行微調。 後續發展 OpenAI 於 2020 年 7 月釋出了 GPT3 的首個版本。其中包括三個模型，引數數量分別為 10 億、67 億和 1750 億，分別被命名為巴貝奇、居里和達芬奇，分別以 B、C 和 D 作為簡稱。 2021 年 7 月，OpenAI 釋出了 Codex，是專門用於程式設計應用的特定任務 GPT 模型。該模型使用 GitHub 上的程式碼對 GPT3 的 12 億引數版本（與之前的 GPT3 模型不同）進行程式碼微調而開發。 2022 年 3 月，OpenAI 釋出了兩個針對指令跟隨進行微調（即 指令微調）的 GPT3 版本，分別命名為 davinciinstructbeta（1750 億引數）和 textdavinci001，隨後開始測試 codedavinci002。textdavinci002 是透過 codedavinci002 進行指令微調得到的。textdavinci003 和 ChatGPT 於 2022 年 11 月釋出，兩者都是在 textdavinci002 的基礎上透過（RLHF）得到的。textdavinci003 用於遵循指令（與其前身相似），而 ChatGPT 則經過進一步訓練，可與人類使用者進行對話互動 。 OpenAI 最新的 GPT 基礎模型是 GPT4，於 2023 年 3 月 14 日釋出。使用者可以透過 ChatGPT 的高階版本直接訪問它，而開發者則可透過 OpenAI 的 API 將其納入其他產品和服務中。其他 GPT 基礎模型的開發者包括（從 2021 年 3 月開始推出一系列模型）和（於 2023 年 3 月釋出七個模型）。 基礎模型 基礎模型是指在廣泛的資料上進行大規模訓練的 AI 模型，以便能夠適用於各種下游任務 。 迄今為止，最著名的 GPT 基礎模型來自 OpenAI 的 GPTn 系列。其中最新的是 GPT4，OpenAI 選擇不公開該模型的規模或訓練細節，理由是 大規模模型的競爭環境和安全影響。 OpenAI 的 GPTn 系列 模型 架構 引數數量 訓練資料 釋出日期 訓練成本 GPT1 12 層，12 頭的 Transformer 解碼器（沒有編碼器），後跟線性 softmax 層 117 億 BookCorpus：一個包含 7000 本未出版書籍的語料庫，總大小為 45 GB。這些書籍涵蓋了各種不同的文學流派和主題。 使用 8 個 GPU 訓練 1 個月，或等價於 17e19 次浮點運算（FLOP） GPT2 基於 GPT1 架構，但使用修改後的歸一化方法 15 億 WebText：一個包含八百萬個文件的語料庫，總大小為 40 GB。這些文字是從 Reddit 上投票最高的 4500 萬個網頁中收集的，包括各種主題和來源，例如新聞、論壇、部落格、維基百科和社交媒體等。 （初始 有限版）和（完整版） 數十 PetaFlopsday，或等價於 15e21 次浮點運算 GPT3 基於 GPT2 架構，但修改以支援更大規模的訓練 1750 億 一個總大小為 570 GB 的大規模文字語料庫，其中包含約 4990 億個標記。這些資料主要來自於、WebText、英文維基百科和兩個書籍語料庫（Books1 和 Books2）。 3640 petaflopsday（Table D1 ） 或等價於 31e23 次浮點運算 GPT35 未公開 1750 億 未公開 未公開 GPT4 使用文字預測和（RLHF）進行訓練，並可以接受文字和影像輸入。進一步的細節尚未公開 未公開 未公開 未公開。估計約為 21e25 次浮點運算 其他類似的模型包括 Google 的，與 2023 年 3 月透過 API 向開發者提供。另外還有 Together 的 GPTJT，據報道是與 GPT3 效能最接近的開源替代方案（源自早期的開源 GPT 模型）。（前身為 Facebook）還擁有一個基於轉換器的生成式基礎大型語言模型，稱為 LLaMA。 基礎 GPT 模型還可以採用文字以外的進行輸入和 或輸出。GPT4 是一個多模態 LLM，能夠處理文字和影像輸入（儘管其輸出僅限於文字）。多模態輸出方面，一些基於轉換器的生成式模型被用於文字到影像技術，如擴散和並行解碼。此類模型可作為視覺基礎模型（visual foundation models，簡稱 VFMs），用於開發能夠處理影像的下游系統。 特定任務模型 基礎 GPT 模型可以進一步適應特定任務和 或主題領域，形成更具針對性的系統。這種適應的方法可以包括額外的（超出基礎模型的微調），以及某種形式的提示工程 。 一個重要的例子是將模型微調以遵循指令，這當然是一個相當廣泛的任務，但比基礎模型更具針對性。2022 年 1 月，OpenAI 推出了 InstructGPT 系列模型，這些模型在 GPT3 語言模型的基礎上使用監督訓練和（RLHF）進行微調，以遵循指令。與純粹的基礎模型相比，其優點包括更高的準確性、更少的負面情感，以及更好地符合使用者需求。因此，OpenAI 開始將它用作其 API 服務提供的基礎。其他開發者也釋出了不同的經過指令微調的模型，其中還有完全開源的模型。 另一種（相關的）任務特定模型是聊天機器人，它可以進行類似人類對話的交流。2022 年 11 月，OpenAI 推出了 ChatGPT。ChatGPT 是一個線上聊天介面，由經過指令微調的語言模型提供支援，該模型的訓練方式類似於 InstructGPT。OpenAI 使用 RLHF 訓練該模型，透過讓人工智慧訓練員進行對話，扮演使用者和 AI 的角色，並將這些新的對話資料集與 InstructGPT 資料集混合，形成了適合聊天機器人的對話格式。其他主要的聊天機器人還包括微軟的 Bing Chat，它使用 OpenAI 的 GPT4（作為 OpenAI 和微軟之間更廣泛合作的一部分），以及競爭對手 Google 的 Bard 聊天機器人（最初基於他們的 LaMDA 系列對話訓練語言模型，計劃轉換為）。 GPT 還可以用於另一種元任務，即生成它自己的指令，如為 自己 開發一系列提示，以實現人類使用者給定的更一般目標。這被稱為 AI，具體而言是遞迴性的，因為它利用前一次的自我指令結果來幫助形成後續的提示；這方面的一個重要例子是 AutoGPT（使用 OpenAI 的 GPT 模型），此外還有其他類似的模型被開發出來 。 多模態性 基於轉換器的生成式系統還可以針對涉及文字以外的其他的任務進行定製。 例如，微軟的 Visual ChatGPT 結合了 ChatGPT 與視覺基礎模型（VFMs），使其能夠處理包含影像和文字的輸入或輸出。此外，由於文字轉語音技術的進步，當該技術與基礎 GPT 語言模型結合使用時，可為音訊內容的創作提供強大的工具。 領域特異性 GPT 系統可以針對特定領域或行業。以下是一些報道中涉及的此類模型和應用示例： EinsteinGPT 用於銷售和營銷領域，輔助客戶關係管理（使用 GPT35）。 BloombergGPT 用於金融領域，幫助處理金融新聞和資訊（使用 免費可用 的 AI 方法，結合其專有資料）。 Khanmigo 被描述為在教育領域中用於輔導的 GPT 版本，透過引導學生的學習過程而不是直接提供答案，來幫助他們在可汗學院上學習（由 GPT4 提供支援）。 SlackGPT 用於 Slack 即時通訊服務，幫助導航和概括討論內容（使用 OpenAI 的 API） BioGPT 由微軟開發的，用於生物醫學領域，幫助進行生物醫學文獻的文字生成和挖掘 ProtGPT2 用於蛋白質研究 有時，領域特異性可以透過軟體外掛或附加元件實現。例如，幾家公司已經開發了與 OpenAI 的 ChatGPT 介面直接互動的特定外掛，Google Workspace 也提供了可用的附加元件，如 GPT for Sheets and Docs。據報道，該元件有助於 Google 試算表中電子試算表功能的使用。 品牌問題 OpenAI 曾宣稱 GPT 應該被視為 OpenAI 的品牌。在 2023 年 4 月，OpenAI 在其服務條款中修改了品牌指南，指示其他企業在使用其 API 執行其人工智慧（AI）服務時，將不再能夠在名稱或品牌中包含 GPT。在 2023 年 5 月，OpenAI 聘請了一個品牌管理服務，通知其 API 客戶有關此政策的資訊，儘管這些通知並未明確提出法律要求（比如指控或要求停止並終止）。 此外，OpenAI 已向美國專利及商標局（USPTO）申請在 AI 領域對 GPT 一詞進行國內商標註冊。OpenAI 試圖讓其申請被加速處理，但專利及商標局於 2023 年 4 月拒絕了該請求。要獲得商標批准，OpenAI 需要證明該術語實際上在其特定產品中具有 顯著性，而不僅僅被廣泛理解為描述類似技術的廣泛技術術語。一些媒體報道暗示 OpenAI 或可間接基於其 ChatGPT 的知名度來實現這一點，對於 ChatGPT，OpenAI 已經單獨尋求商標保護（並試圖更嚴格地執行） 。其他報道表明，GPT 一詞似乎不太可能被授予獨佔權，因為它經常用於簡單地指代涉及生成預訓練轉換器的 AI 系統。即使這種情況發生，商標上的描述性合理使用原則仍可能保留一些空間，使其能繼續進行與品牌無關的使用。 部分出版物 以下為 OpenAI 和微軟關於其 GPT 模型的主要官方出版物： GPT1：報告，GitHub 釋出 GPT2：部落格公告，關於 分階段釋出 決策的報告，GitHub 釋出 GPT3：報告。此後沒有 GitHub 或任何其他形式的程式碼釋出 webGPT 部落格公告、報告 InstructGPT：部落格公告、報告 ChatGPT：部落格公告（無報告） GPT4：部落格公告、報告、model card 參考資料 Category 大型語言模型 Category 生成式人工智慧 Category 人工神經網路 CategoryOpenAI