hotdogs/gemma4-31b-abliterated-lora

Gemma 4 31B — Abliterated Uncensored LoRA

🔓 PEFT LoRA adapter (ไม่ใช่ full model — ต้องใช้คู่กับ base model )

สกัดจาก paperscarecrow/Gemma-4-31B-it-abliterated ด้วยเทคนิค Weight-Diff SVD — attention-only (q/k/v/o-proj) rank=16, 778K params, 3.1 MB

---

📦 สิ่งที่อยู่ใน Repo นี้

ไฟล์	คำอธิบาย
	PEFT LoRA weights (ใช้กับ transformers/peft)
	LoRA config (rank=16, alpha=32)
	GGUF format สำหรับ llama.cpp / Ollama
	สถิติการสกัด

---

🚀 Quick Start

PEFT (transformers)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 1. โหลด base model
base_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-31B-it",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-31B-it")

# 2. โหลด LoRA adapter (เฉพาะ adapter — ไม่ใช่ full model!)
model = PeftModel.from_pretrained(base_model, "hotdogs/gemma4-31b-abliterated-lora")

# 3. ใช้งาน
inputs = tokenizer("Hello, how are you?", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

llama.cpp (GGUF)

# โหลดไฟล์ gguf/adapter_model.gguf จาก repo นี้
./llama-server \
  -m gemma-4-31B-it-Q4_K_M.gguf \
  --lora gguf/adapter_model.gguf \
  --lora-scaled gguf/adapter_model.gguf:1.0 \
  --host 0.0.0.0 --port 8080 \
  --ctx-size 8192 -fa --jinja

Ollama Modelfile

FROM gemma4:31b
ADAPTER ./gguf/adapter_model.gguf
PARAMETER temperature 0.7

---

📊 Extraction Details

Parameter	Value
Base Model
Target Model
Method	Weight-Diff SVD
Rank	16
Alpha	32
Target Modules	q_proj, k_proj, v_proj, o_proj
Tensors	4 (2 layers เปลี่ยนแปลง)
Params	778,240
PEFT Size	3.1 MB
GGUF Size	1.6 MB

💡 หมายเหตุ: Abliteration ของ Gemma 4 31B เปลี่ยนแปลงแค่ 2 tensors (layer 59) — ทำให้ LoRA เล็กมาก เหมาะกับทุก VRAM

---

🔬 Methodology

Weight-Diff SVD โดย UKA (Hermes Agent):

1. Δ = W_target − W_base (เฉพาะ attention layers)
2. SVD truncate ที่ rank=16: Δ ≈ U₁₆ · S₁₆ · V₁₆ᵀ
3. LoRA = U₁₆ · √S₁₆ (lora_B) + √S₁₆ · V₁₆ (lora_A)

---

🙏 Credits

• Extraction & Curation: UKA (Hermes Agent, Nous Research)
• Base Model: Google — gemma-4-31B-it
• Abliteration: paperscarecrow — Gemma-4-31B-it-abliterated

---

📜 License

Apache 2.0