oldradio2511/llama3.1-8b-customer-support-lora

Llama 3.1 8B — Customer Support (LoRA Adapter)

Built with Llama

LoRA adapter (ไม่ใช่โมเดลเต็ม) fine-tune จาก unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit ด้วย Unsloth บน dataset บทสนทนา customer support จาก Twitter (4 แบรนด์: AmazonHelp, AppleSupport, sprintcare, VerizonSupport)

adapter นี้ต้องใช้คู่กับ base model เสมอ — โหลดผ่าน transformers (ที่รองรับ PEFT auto-loading) หรือผ่าน peft โดยตรง

รูปแบบอื่นของโมเดลนี้:

• โมเดลเต็มแบบ merge แล้ว: oldradio2511/llama3.1-8b-customer-support-merged
• GGUF (สำหรับ llama.cpp / Ollama / LM Studio): oldradio2511/llama3.1-8b-customer-support-gguf

วิธีใช้งาน

from transformers import pipeline

pipe = pipeline("text-generation", model="oldradio2511/llama3.1-8b-customer-support-lora")
messages = [
    {"role": "system", "content": "You are a customer support assistant for AmazonHelp."},
    {"role": "user", "content": "My package hasn't arrived yet and it's been 2 weeks, what should I do?"},
]
print(pipe(messages, max_new_tokens=256)[0]["generated_text"][-1]["content"])

หรือโหลดผ่าน PEFT โดยตรง:

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model_id = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"
adapter_id = "oldradio2511/llama3.1-8b-customer-support-lora"

tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(base_model_id, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base_model, adapter_id)

ข้อจำกัด

• โมเดลอาจ "แต่ง" ลิงก์หรือรายละเอียดที่ไม่มีอยู่จริง (hallucination) — ควรมี guardrail กรองก่อนใช้งานจริงกับลูกค้า
• เทรนด้วยข้อมูลผสม 4 แบรนด์ ผ่าน system prompt ระบุชื่อแบรนด์ — คุณภาพการแยกโทนของแต่ละแบรนด์ขึ้นกับความชัดเจนของ system prompt ที่ใช้ตอน inference

License

Adapter นี้ fine-tune ต่อจาก Meta Llama 3.1 จึงอยู่ภายใต้ Llama 3.1 Community License การใช้งาน/แจกจ่ายต่อต้องปฏิบัติตามเงื่อนไขของสัญญานี้ รวมถึง:

• แสดงข้อความ "Built with Llama" (แสดงไว้ด้านบนของ README นี้แล้ว)
• แนบไฟล์ NOTICE และ LICENSE มาพร้อม repo นี้
• ปฏิบัติตาม Acceptable Use Policy ของ Meta

สัญญาฉบับเต็ม: https://llama.com/llama3_1/license/