gpt-oss-20b-Code-xCloud

云碩科技 · xCloudinfo　·　系列：程式 · Code

以 openai/gpt-oss-20b（21B 總參 / 3.6B 活躍 / MoE / MXFP4 / harmony 推理格式）為基底 的程式碼能力強化 reasoning 模型。以執行驗證蒸餾的程式碼指令資料做 LoRA 微調（LoRA 作用於 attention，MoE 專家維持原生 MXFP4），保留 gpt-oss 原生 reasoning 能力。

功能：寫程式——理解需求、產生可執行的 Python／程式碼解法，並保留逐步推理（reasoning）。

厲害在哪（據實、不灌水）

• 訓練料每一筆都經「執行驗證」：解法在沙箱跑過隱藏測試、通過才收（rejection sampling）——不是網路爬來的程式碼，每一筆都證明會動。這是多數蒸餾模型給不出的資料品質保證。
• 保留通用 coding 實力：HumanEval pass@1 **87.2%**（第三方題庫、greedy、164 題）——對 21B 總參 / 3.6B 活躍的開源模型屬頂規檔次。
• 整個家族的「碼力底層」：TAIDE-zhTW（繁中） 與 Uncensored（無審查） 兩顆都疊在這顆之上。
• 輕量好部署：MXFP4、約 14GB，單張中階 GPU（甚至 CPU）即可本地、可控、離線部署，Apache-2.0 商用友善。

  定位是「可控、可驗證、自架的實用 coder」，不是去刷贏前沿封閉模型；價值在資料每筆可執行、行為可控、貼合自家技術堆疊。

做法

• 資料：程式碼指令資料每筆解法都先在沙箱跑過隱藏測試、通過才收。
• 方法：teacher 蒸餾 + 執行驗證閘門（rejection sampling）→ LoRA SFT。

用法（transformers）

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("xCloudinfo/gpt-oss-20b-Code-xCloud")
model = AutoModelForCausalLM.from_pretrained("xCloudinfo/gpt-oss-20b-Code-xCloud", dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "用 Python 寫一個 LRU cache，附簡短說明。"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=512)[0][ids.shape[1]:], skip_special_tokens=False))

reasoning 模型：請給足 max_new_tokens。GGUF 版見 gpt-oss-20b-Code-xCloud-GGUF。

授權與來源聲明

• 基底：openai/gpt-oss-20b，Apache-2.0。

---

由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作；資料留在本地、流程可重現。