GPT-J

GPT-J，又稱GPT-J-6B，是由開放人工智慧研究團體EleutherAI開發的大型語言模型。該模型於2021年公開發布，是一個基於Transformer架構的自回歸文本生成模型，主要用於根據輸入提示預測後續文本。名稱中的「6B」表示模型約有60億個可訓練參數。GPT-J使用Ben Wang開發的Mesh Transformer JAX訓練，權重以Apache License 2.0發布，是早期具有公開權重的GPT-3類大型語言模型之一。

GPT-J的發布出現在閉源大型語言模型迅速擴張的背景下。OpenAI在2020年發布GPT-3後，沒有公開其完整模型權重，而EleutherAI等開放研究社群試圖復現類似規模和能力的語言模型。GPT-J繼承了GPT-Neo項目的開放路線，進一步擴大模型規模，並使研究人員、開發者和小型團隊能夠直接下載、運行和微調GPT類模型。

## 背景

GPT-J的開發者來自EleutherAI及其周邊開源社區。EleutherAI最初以復現和開放GPT-3類模型為目標，先後建設了The Pile數據集、GPT-Neo系列模型和GPT-J。與依賴API訪問的商業模型不同，GPT-J提供了模型代碼和預訓練權重，因而在開源大語言模型發展早期具有代表性。

小松崎嵐在發布說明中將GPT-J-6B稱為基於JAX的6B參數Transformer語言模型，並指出其零樣本下游任務表現接近GPT-3的6.7B參數模型Curie。該項目使用Google TPU Research Cloud提供的TPU v3-256資源訓練，訓練約持續五周。

## 架構與訓練

GPT-J是解碼器式自回歸語言模型，核心任務是根據已有文本預測下一個標記。模型有6,053,381,344個參數，包含28層Transformer，每層包含一個自注意力模塊和一個前饋模塊；隱藏維度為4096，前饋層維度為16384，注意力頭數為16，每個注意力頭維度為256，最大上下文長度為2048個標記。模型使用與 GPT-2、GPT-3相同的 BPE 分詞表，詞表實際使用50257個條目，嵌入矩陣大小為50400。

GPT-J採用旋轉位置編碼（Rotary Position Embedding，RoPE）。RoPE由蘇劍林等人提出，通過旋轉矩陣編碼絕對位置資訊，並在自注意力計算中體現相對位置關係。GPT-J的 RoPE 應用於每個注意力頭的64個維度。模型還將注意力層和前饋層並行放置，以降低通信開銷。

GPT-J使用The Pile訓練。The Pile 是EleutherAI構建的英文大規模語料庫，論文稱其規模為825 GiB，由22個子數據集組成，來源包括學術、專業和網路文本。根據模型卡，GPT-J在 TPU v3-256 pod上訓練了4020億個標記、383,500個步驟，訓練目標為自回歸語言建模，並使用交叉熵損失最大化正確預測下一個標記的機率。

## 性能

GPT-J發布時被認為是公開權重模型中表現較強的GPT-3類語言模型。小松崎嵐的發布說明稱，GPT-J在多個零樣本下游任務上的表現大致接近GPT-3 Curie。模型卡所列評估表中，GPT-J-6B在LAMBADA準確率、Winogrande、HellaSwag和PIQA等任務上的成績與GPT-36.7B、GPT-3Curie 相近；其中LAMBADA準確率為69.7%，Winogrande為65.3%，HellaSwag為66.1%，PIQA為76.5%。模型卡同時指出，相關評估可能存在訓練數據與測試集污染問題，且不同模型的評估實現和零樣本任務提示方式並不完全相同。

GPT-J的主要能力是從提示語生成英文文本。模型可以作為特徵提取器，也可經微調用於下游任務，但模型卡明確指出，GPT-J未針對商業聊天機器人、體裁寫作等常見應用場景進行專門微調，也沒有像ChatGPT那樣通過基於人類反饋的強化學習優化為遵循人類指令。

## 應用

GPT-J被廣泛用於研究、實驗、微調和開源應用開發。Hugging Face的Transformers後來加入GPT-J支持，使其可通過AutoModelForCausalLM等接口加載。GPT-J也出現在後續學術研究中。Meta AI Research的Toolformer研究以GPT-J為基礎模型，研究語言模型如何通過少量示例自監督學習調用外部工具，包括問答系統、搜尋引擎、計算器、日曆和翻譯系統。模型可以學習在何時調用工具、調用哪些工具、傳入什麼參數，以及如何把工具返回結果納入後續標記預測。

GPT-J還被文學創作者用於實驗性寫作。英國作家漢娜·席爾瓦（Hannah Silva）在回憶錄《My Child, the Algorithm》中使用GPT-J生成部分文本，並通過斜體區分AI生成內容。席爾瓦將GPT-J的輸出與自己的文字並置，模型既作為寫作素材來源，也作為關於學習、智能和愛的反思對象。

## 局限

GPT-J不是面向最終使用者的完整產品。模型卡指出，GPT-J-6B不應在缺少微調、監督或內容審核的情況下直接部署到面向人的交互場景中。模型可能生成有害、冒犯性或社會上不可接受的文本，也不應被依賴為事實準確的資訊來源。

GPT-J的訓練語料為英文，因此不適合翻譯或生成其他語言文本。與後來的指令微調模型相比，GPT-J更接近基礎語言模型：它主要學習文本續寫分布，而不是穩定回答問題、遵循安全策略或進行對話。模型卡建議在發布輸出前由人工篩選或過濾，以減少不良內容並提高結果質量。

## 訓練數據與版權爭議

GPT-J使用的The Pile包含Books3子數據集。2023年，《The Atlantic》報導Books3含有大量圖書文本，其中包括多名作家的受版權保護作品，並稱Books3被用於訓練BloombergGPT、EleutherAI的GPT-J以及其他生成式AI程序；報導還稱EleutherAI方面沒有否認Books3被納入GPT-J的訓練數據。《衛報》隨後報導，查蒂·史密斯、史蒂芬·金、蕾切爾·卡斯克、埃琳娜·費蘭特等作者的作品出現在Books3中，並指出Books3也被用於訓練GPT-J。

## 衍生與濫用

GPT-J的開放權重方便研究與微調，也帶來雙重用途問題。2023年，網路安全研究者和媒體報導了WormGPT等用於網路犯罪的惡意語言模型。有觀點將WormGPT描述為GPT-J的微調版本，稱其被作為沒有內容過濾的ChatGPT替代品出售，可生成釣魚郵件、惡意腳本和漏洞利用說明。TechCrunch對WormGPT進行報導時也稱，該工具據稱基於EleutherAI於2021年開放的GPT-J，但其具體微調程度和實際能力並不明確。

## 影響

GPT-J在開源大語言模型史上具有承前啟後的意義。它繼GPT-Neo之後擴大了公開權重GPT類模型的規模，並在LLaMA、Falcon、Mistral、Pythia、GPT-NeoX等後續開放或開放權重模型出現前，為研究者提供了可直接下載和實驗的60億參數級語言模型。InfoQ在2021年的報導中將GPT-J描述為一個六十億參數的開源NLP模型，指出其訓練於The Pile，並在相近規模任務上達到與GPT-36.7B模型相近的表現。

## 外部連結

- https://huggingface.co/EleutherAI/gpt-j-6b
- kingoflolz/mesh-transformer-jax

## 基本資料

- 域：EleutherAI標誌
- 開發者：EleutherAI
- 發行日期：2021年6月
- 類型：大型語言模型、生成式預訓練轉換器
- 許可協議：Apache License 2.0