xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF

xGemable-12B-coder-v2（全參數版・GGUF）

云碩科技（xCloudinfo）以全參數微調（full fine-tune）＋ 全長零截斷配方，在 google/gemma-4-12B-it 底座上蒸餾出的寫程式模型。這是一顆會寫「真的能編譯、真的過測試」程式碼的 12B 模型。

---

為什麼你該試這顆：一個 12B 打贏一票對手

所有數字皆為全量 164 題 HumanEval、實際編譯執行判分，非引用宣稱。你可以自己複現。

模型	參數	HumanEval pass@1
xGemable-12B（本 GGUF，Q4_K_M 實測）	12B	91.5%
xGemable-12B（全精度 bf16）	12B	93.9%
gemma-4-12B-it（未訓練底座）	12B	90.9%
Qwable-9B（同級對手）	9B	82.9%
一般 7–9B 開源寫程式模型	7–9B	70–82%

這顆 GGUF（Q4）實測 91.5%，仍勝過未訓練底座、大勝同級對手 8.6 分。 全精度為 93.9%； Q4 量化損失約 2.4 分（要更接近全精度可用 Q6/Q8）。而且是一顆你自己機器就跑得動的 12B。

另在本機 ollama（Apple M2 Pro, Q4_K_M）實測一組跨語言基礎題（Python / C# / Rust）：**27/27 = 100%**， 同樣是實際編譯執行判分。基礎函式題三語言零失誤，難題鑑別度仍以上表 HumanEval 為準。

---

我們做對了什麼（方法論突破）

多數團隊在強底座上做微調會掉分——我們自己前三次（LoRA 低秩 + 截斷）也從 90.9% 掉到 82.9%， 一度以為「疊加微調必然傷底座」。這顆推翻了這個結論：

• 全參數微調（不是 LoRA）——容量夠，學新能力不必擠掉舊能力
• 全長零截斷——完整訓練多輪代理式軌跡，不砍掉解題的長弧
• 執行驗證蒸餾——每一條訓練軌跡都先過真實編譯器與測試，跑不過的一律丟棄

結果：不但沒掉分，還比未訓練底座更強。真兇是「低秩 + 截斷」，不是蒸餾本身。

---

特性

• 多語言：Python 為主力，C# / Java / Go / JavaScript / Rust 皆可
• 原生 function calling / 工具使用：可讀錯誤訊息、多輪迭代
• 地端私有部署：GGUF 量化，單機 16GB RAM 起跑，資料不離內網
• 長上下文 1M tokens，開箱即用：YaRN rope-scaling 已寫入 GGUF metadata（256K 原生 × 4）， llama.cpp / LM Studio 載入即生效、不需額外參數。整個中型 repo、數十份文件一次塞進 context 做跨檔案推理。 （實際可用長度受你的 RAM 限制；一般 16GB 機器建議 -c 32K 以內，1M 需大記憶體機器。）
• 底座 gemma-4-12B-it

---

務必先讀：關思考

底座 gemma-4 帶「思考通道」。任何推理端都要關思考，否則：

• 直接跑會把 token 耗在思考、輸出夾雜推敲、分數腰斬；
• 透過 Open WebUI 等 chat 介面會出現「回覆空白／寫不出來」——ollama 把思考解析進獨立的 thinking 欄位、content 留空，而 UI 預設只顯示 content。這不是模型壞了，是沒關思考。

各引擎關思考的對應參數（擇一）：

引擎 / 介面	怎麼關思考
llama.cpp	啟動加 --chat-template-kwargs '{"enable_thinking":false}'
ollama /api/chat	請求加 "think": false
ollama / OpenAI 相容 /v1	請求加 "reasoning_effort": "none"
Open WebUI	對話的 Controls／進階參數把 Reasoning／Thinking 關掉（等同送 think:false）
vLLM	同 llama.cpp：--chat-template-kwargs '{"enable_thinking":false}'

---

怎麼用

ollama（本機最省事）

# 拉模型
ollama pull hf.co/xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF:Q4_K_M

# 用 chat API（務必帶 think:false，否則 content 會是空的）
curl http://localhost:11434/api/chat -d '{
  "model": "hf.co/xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF:Q4_K_M",
  "messages": [{"role":"user","content":"寫一個 Python 函式 add(a,b)"}],
  "think": false,
  "stream": false
}'

用 Open WebUI：拉好模型後，在對話的 Controls／進階參數把 Reasoning／Thinking 關掉即可正常輸出。

llama.cpp

# 下載（Q4_K_M 約 7.4GB，16GB RAM 可跑）
hf download xCloudinfo/xGemable-12B-coder-v2-fullft-GGUF \
  xGemable-12B-coder-v2-fullft-Q4_K_M.gguf --local-dir .

# 啟動 server（--chat-template-kwargs 關思考 務必加）
llama-server -m xGemable-12B-coder-v2-fullft-Q4_K_M.gguf -c 8192 --jinja \
  --chat-template-kwargs '{"enable_thinking":false}' \
  --temp 0.2 --top-p 0.95 --top-k 64

啟動後即為 OpenAI 相容端點（http://localhost:8080/v1），可直接接編輯器外掛或任何 OpenAI SDK。

量化版本

檔案	位元	大小	建議
...-Q4_K_M.gguf	4-bit	~7.4 GB	一般使用，16GB RAM 可跑
...-Q5_K_M.gguf	5-bit	~8.5 GB	品質與體積平衡
...-Q6_K.gguf	6-bit	~9.8 GB	高品質
...-Q8_0.gguf	8-bit	~12.7 GB	接近無損

建議解碼參數：temperature 0.2、top_p 0.95、top_k 64、repeat_penalty 1.0。

---

能力範圍（誠實揭露）

• 擅長：函式與演算法實作、單元測試、程式碼解釋與審查、多語言、多輪工具使用。
• 限制：完整倉庫級自動除錯（在整個專案中定位並修復真實 bug）尚未達實用門檻——此為當前 12B 級模型之 共通限制，非本模型獨有。若你的任務是「寫會過測試的函式/模組」，這顆很強；若是「自動修整個 repo 的 bug」， 現階段任何 12B 都還做不到。

授權（請詳讀）

本模型之訓練資料含 AGPL-3.0 授權且衍生自他家模型輸出之語料，授權狀態尚未完全釐清。 下載使用前請自行評估合規風險。底座 google/gemma-4-12B-it 為 Apache-2.0。

---

云碩科技股份有限公司　xCloudinfo Corp. Limited 台北・台中・新竹　│　自主 AI・地端部署・資料不離企業內網