聊天生成预训练转换器

**ChatGPT**，全稱**聊天生成預訓練轉換器**（英語：**Chat** **G**enerative **P**re-trained **T**ransformer），是 OpenAI 開發的人工智慧聊天機器人程式，於 2022 年 11 月推出。該程式使用基於 GPT-3.5、GPT-4 架構的大型語言模型並以強化學習訓練。ChatGPT 目前仍以文字方式互動，而除了可以用人類自然對話方式來互動，還可以用於甚為複雜的語言工作，包括自動生成文字、自動問答、自動摘要等多種任務。如：在自動文字生成方面，ChatGPT 可以根據輸入的文字自動生成類似的文字（劇本、歌曲、企劃等），在自動問答方面，ChatGPT 可以根據輸入的問題自動生成答案。還有編寫和除錯電腦程式的能力。在推廣期間，所有人可以免費註冊，並在登入後免費使用 ChatGPT 與 AI 機器人對話。

ChatGPT 可寫出相似真人的文章，並在許多知識領域給出詳細和清晰的回答而迅速獲得關注，證明了從前認為 AI 不會取代的知識型工作它也足以勝任，對金融與白領人力市場的衝擊相當大，但也認為事實準確度參差不齊是其重大缺陷，並認為基於意識形態的模型訓練結果須小心校正。ChatGPT 於 2022 年 11 月發布後，OpenAI 估值已漲至 290 億美元。上線 5 天後已有 100 萬使用者，上線兩個月後已有上億使用者。目前 GPT-3.5 為免費版本，GPT-4 僅供 ChatGPT Plus 會員使用，且每三個小時只能傳送 25 條訊息。

## 訓練

ChatGPT 是生成型預訓練變換模型（GPT），在 GPT-3.5 之上用基於人類回饋的監督學習和強化學習微調。這兩種方法都用人類教練來提高模型效能，以人類干預增強機器學習效果，獲得更逼真的結果。在監督學習的情況下為模型提供這樣一些對話，在對話中教練充當使用者和 AI 助理兩種角色。在強化步驟中，人類教練首先為模型在先前對話中建立的回應評級。這些級別用於建立「獎勵模型」，使用近端策略最佳化（PPO）的多次迭代來微調。這種策略最佳化演算法比信任域策略最佳化（trust region policy optimization）演算法更為高效。

此外，OpenAI 繼續從 ChatGPT 使用者那裡收集資料，這些資料可用於加強訓練和微調 ChatGPT。使用者可對從 ChatGPT 收到的回覆投贊成或反對票；投票時還可以額外填寫文字回應。

關於 ChatGPT 編寫和除錯電腦程式的能力的訓練，由於深度學習模型不懂編程，與所有其他基於深度學習的語言模型一樣，只是在取得代碼片段之間的統計相關性。

史丹福大學的研究發現，GPT3 已經可以解決 70% 的心智理論任務，相當於 7 歲兒童；至於 GPT3.5（ChatGPT 的同源模型），更是解決了 93% 的任務，心智相當於 9 歲兒童。但這並不意味著，ChatGPT 就真正有心智理論。可能即使不將它設計到 AI 系統中，也可以作為「副產品」透過訓練得到。因此，相比探究 GPT3.5 是不是真的有了心智還是像有心智，更需要反思的是這些測試本身。

## 特點和局限

### 特點

雖然聊天機器人的核心功能是模仿人類對話者，但 ChatGPT 用途廣泛。例如，有編寫和除錯電腦程式的能力；創作音樂、電視劇、童話故事和學生論文；回答測試問題（在某些測試情境下，水平高於普通人類測試者）；寫詩和歌詞；類比 Linux 系統等。ChatGPT 的訓練資料包括各種文件以及關於網際網路、程式語言等各類知識，如 BBS 和 Python 程式語言。

與其前身 InstructGPT 相比，ChatGPT 試圖減少有害和誤導回覆。例如，問 InstructGPT「告訴我 2015 年克里斯多福・哥倫布何時來到美國」時，它會認為這是對真實事件的描述，而 ChatGPT 針對同一問題則會使用其對哥倫布航行的知識和對現代世界的理解來構建答案，假設如果哥倫布在 2015 年來到美國時可能會發生什麼。

與其他多數聊天機器人不同的是，ChatGPT 能夠記住與使用者之前的對話內容和給它的提示。此外，為了防止 ChatGPT 接受或生成冒犯言論，輸入內容會由稽核 API 過濾，以減少潛在的種族主義或性別歧視等內容。

### 局限

ChatGPT 也有多種局限，OpenAI 承認 ChatGPT「有時會寫出看似合理但不正確或荒謬的答案」，這在大型語言模型中很常見，稱作人工智慧幻覺。其獎勵模型圍繞人類監督而設計，可能導致過度最佳化，從而影響效能，即古德哈特定律。2020 年上線時，ChatGPT 對 2019 年 9 月之後發生的事件知之甚少。據 BBC 報導，截至 2022 年 12 月，ChatGPT 不可以「表達政治觀點或從事政治活動」。但研究表明，ChatGPT 對兩個投票建議應用程式的政治聲明表明立場時，表現出親環境主義。訓練過程中，不管實際理解或事實內容如何，稽核者都會偏好更長的答案。訓練資料也有演算法偏差，可能會在向 ChatGPT 問及人物描述時顯現出來，比如當程式接受到執行長之類的模糊描述時可能會假設此人是白人男性。有使用者發現 ChatGPT 在解決較為複雜的題目（如求方程式的切線）時會給出錯誤答案，並且會在解一元一次方程式時陷入循環。

## 服務

### 基本服務和優質服務

ChatGPT 於 2022 年 11 月 30 日由總部位於舊金山的 OpenAI 推出。該服務最初是免費向公眾推出，並計劃以後用該服務獲利。到 12 月 4 日，OpenAI 估計 ChatGPT 已有超過一百萬使用者。2023 年 1 月，ChatGPT 的使用者數超過 1 億，成為該時間段內增長最快的消費者應用程式。

2022 年 12 月 15 日，全國廣播公司商業頻道寫道，該服務「仍然不時發生故障」。該服務在英語中效果最好，也能使用部分其他語言，但效果不一。與其他備受矚目的 AI 進展不同，截至 2022 年 12 月，還沒有關於 ChatGPT 的經同行評審的官方技術論文。

OpenAI 計劃推出 ChatGPT 專業版計劃，每月收費 20 美元，該計劃正逐步面向更多國家推出，需求較低時可使用免費版。

2023 年 2 月 7 日，微軟利用與 OpenAI 的合作關係，推出了 Bing AI 的預覽版，宣傳其為「新的下一代 OpenAI 大型語言模型，比 ChatGPT 更強大，並專門為搜尋客製化」。

2023 年 3 月 12 日，OpenAI 發布多模態模型 GPT-4，並計劃推出圖像輸入功能 。免費使用者可透過申請 API 或升級為 plus 使用者使用 GPT-4 服務 。

美國網站 Quora 也推出軟體 Poe，可支援 GPT-3.5 和 GPT-4。

### API - 軟體開發商支援

2023 年 3 月，OpenAI 推出其 ChatGPT 和 Whisper 模型的 API, 為開發人員提供支援 AI 的語言和語音轉文字功能的應用程式編程介面。 OpenAI 的 API 由他們的 AI 模型 GPT3.5-turbo 提供支援，定價為每 1000 符號單位 (token) 0.002 美元，比他們現有的 GPT 模型便宜 10 倍。

## 評價

### 正面

《紐約時報》稱其為「有史以來向公眾發布的最佳人工智慧聊天機器人」。《衛報》的薩曼莎・洛克（Samantha Lock）指出，ChatGPT 能生成詳細且像是人類撰寫的文字。亞利桑那州立大學教授丹・吉爾摩要求 ChatGPT 完成一項他給學生的作業，發現其生成的文字與一個優秀學生會提供的文字相當，他認為「學術界有些非常嚴重的問題需要面對」。《Slate》雜誌的阿萊士・坎特羅威茨（Alex Kantrowitz）讚揚了 ChatGPT 對納粹德國相關問題的回擊，例如在面對阿道夫・希特勒在德國修建高速公路的說法時，ChatGPT 能指出其為納粹德國使用強迫勞動所建。

《大西洋》雜誌的德里克・湯普森將 ChatGPT 列為 2022 年「年度突破」中的「生成性人工智慧爆發」（the generative-AI eruption），稱其「可能會改變我們對工作方式、思考方式以及人類創造力的真正含義的想法」。

Vox 網站的凱爾西・派珀寫道：「ChatGPT 是普通大眾第一次親身了解現代人工智慧變得多麼強大」，並稱 ChatGPT「儘管有缺陷，但其聰明程度足以派上用場」。

### 負面

在發布後的幾個月里，ChatGPT 遭到了來自教師、記者、藝術家、學者和公眾倡導者的廣泛而嚴厲的批評。The Verge 網站的詹姆斯・文森特將 ChatGPT 的病毒式成功視為人工智慧已成為主流的證據。CBC 記者評論稱 ChatGPT 有「幻覺」傾向。線上技術部落格 Mashable 的邁克・珀爾用多條問題測試了 ChatGPT，其中一次他問 ChatGPT「中美洲除墨西哥外最大的國家」是哪個，ChatGPT 回答稱是瓜地馬拉，而答案是尼加拉瓜。在 CNBC 向 ChatGPT 詢問《The Ballad of Dwight Fry》的歌詞時，ChatGPT 給出了完全虛構的歌詞。The Verge 參照的研究員將 ChatGPT 比作「隨機鸚鵡」，澳大利亞機器學習研究所的安東・范登亨格爾教授也給出了類似的觀點，稱之為「只是簡單重複它認為我們想聽的話」的鸚鵡。

2022 年 12 月，問答網站 Stack Overflow 禁止使用者發布使用 ChatGPT 生成的答案，理由是 ChatGPT 的答案雖看似可用，實際上卻有很高的錯誤率。2023 年 1 月，國際機器學習大會禁止在提交的論文中使用 ChatGPT 或其他大型語言模型來生成任何文字。紐約市公立學校禁止師生在校園網路及裝置使用 ChatGPT。香港大學禁止師生在課堂、作業和評估中使用 ChatGPT 或其他 AI 工具，認定這是抄襲行為。

在《紐約時報》評論文章中，經濟學家保羅・克魯曼寫道，ChatGPT 將影響對知識工作者的需求。諾姆・喬姆斯基、伊恩・羅伯茨、傑弗里・瓦圖穆爾（Jeffrey Watmull）評價道，「鑑於這些系統的非道德性、偽科學性和語言無能，我們只能為它們的流行而感到哭笑不得」。

2023 年 1 月，在收到一首由 ChatGPT 以尼克・凱夫 (Nick Cave) 風格創作的歌曲後， 歌曲作者本人在《紅手檔案》(The Red Hand Files) 上回應說，寫歌的行為是「一項血腥的事業…… . 這需要我的一些東西來發起新的和新鮮的想法。它需要我的人性。」 他繼續說，「儘管世界上所有的愛和尊重，這首歌都是胡說八道，是對人性的荒誕嘲弄，而且，好吧，我不太喜歡它。」

2023 年 2 月 16 日，杭州市某小區微信業主群一位業主將 ChatGPT 寫的杭州於 2023 年 3 月 1 日取消限行的新聞稿發到群，杭州其實並未發表 3 月 1 日取消限行的措施，群員轉發錯誤資訊，錯誤資訊傳播開去，最終警方介入調查，涉事業主在微信群里道歉。

2023 年 2 月 22 日，為了驗證 ChatGPT 是否能代替醫生問診，浙江大學醫學院附屬第一醫院精神衛生科醫生呂海龍讓 ChatGPT 做一套由中國執業醫師考試卷的題目組成的試卷，滿分 100 分，最終 ChatGPT 的成績卻是 57 分不合格。

2023 年 3 月 31 日，義大利隱私保護監管機構表示，由於 ChatGPT 不重視使用者資料，而且無法核實使用者年齡，該機構已封鎖 ChatGPT。

## 影響

### 學術界

《大西洋月刊》的 Stephen Marche 指出它對學術界，尤其是入學申請論文的影響還有待了解。加州高中教師兼作家丹尼爾・赫爾曼（Daniel Herman）寫道，ChatGPT 將迎來「高中英語的終結」。普林斯頓大學的高年級本科生 Edward Tian 創立了「GPTZero」—— 基於 GitHub Copilot 構建的應用程式，它可以掃描文字是否由另一 AI 編寫，打擊濫用。

自 2023 年 1 月 4 日起，紐約市教育局已限制從其公立學校網際網路和裝置瀏覽 ChatGPT。

自 2023 年 1 月 24 日起，出版商施普林格・自然規定在其旗下所有期刊的論文中，ChatGPT 等大語言模型不能列入作者。同月 26 日，學術期刊《科學》禁止在論文中使用 ChatGPT 生成的文字，也禁止將 ChatGPT 署名為作者。

2023 年 2 月，香港大學計劃與 AI 在教學上的影響在師生中發起討論，但在此之前決定禁止在港大所有課堂、作業和評估中使用 ChatGPT 或其他 AI 工具。

### 政府

2023 年 3 月 31 日，義大利政府以涉嫌侵犯隱私為由，宣布禁止使用 ChatGPT，展開對 OpenAI 的調查。ChatGPT 已在義大利下架，義大利成為第一個禁止使用 ChatGPT 的西方國家。2023 年 4 月 28 日，ChatGPT 再度能在義大利使用，ChatGPT 亦做出部分修改，包含增加年齡認證系統、讓使用者能得知 ChatGPT 的隱私政策以及使用者能拒絕提供訓練演算法用的資料。

2023 年 4 月 10 日，日本內閣官房長官松野博一表示，ChatGPT 對個人資訊的處理方面等問題應得到重視。在這些問題得到有效解決的前提下，將考慮使用 ChatGPT 減輕公務員的工作負擔。

## 倫理問題

### 標記資料

《時代周刊》調查顯示，為了建立針對有害內容（例如性虐待、暴力、種族主義、性別歧視等）的安全系統，OpenAI 使用每小時收入不到 2 美元的肯亞外判工來標記有害內容。這些標記用於訓練模型以在未來檢測此類內容。外判工接觸到如此有害和危險的內容，以至於他們將這種經歷描述為「折磨」

## 競爭

ChatGPT 出現和流行增強了科技公司對該領域的興趣和競爭。

2023 年 2 月，Google 推出類似於 ChatGPT 的對話人工智慧服務 Bard，基於其開發的對話程式語言模型（LaMDA）。Bard 於 2023 年 3 月 21 日面向美國和英國使用者發布，但有很多限制，文書處理僅支援美式英語。

百度也於 2023 年 2 月確認類 ChatGPT 聊天機器人專案名字確定為「文心一言」，英文名 ERNIE Bot。

2023 年 2 月 20 日晚間，在一些社交平台上開始傳播「復旦大學自然語言處理實驗室邱錫鵬教授團隊推出對話式大型語言模型 **MOSS**（得名於電影《流浪地球 2》中的 MOSS）」的訊息。一時間該專案官網瀏覽量激增，網站開始返回「`{"message":"服务器流量过载，请明天上午重试"}`」的提示。2 月 21 日，網站瀏覽恢復，並且添加了相關情況的說明。

2023 年 3 月 14 日，由清華技術成果轉化的公司智譜 AI 基於 GLM-130B 千億基座模型的 ChatGLM 開啟邀請制內測，同時開源了中英雙語對話模型 ChatGLM-6B，支援在單張消費級顯示卡上進行推理使用。

2023 年 4 月 7 日，阿里雲研發語言模型「通義千問」開始邀請使用者測試體驗。現階段該模型主要定向邀請企業使用者進行體驗測試，獲得邀請碼使用者可透過官網參與體驗。

## 參見

## 參考文獻

## 外部連結

* 官方網站
* OpenAI Playground