ai_in_action_lab21_wrong_lr — LoRA adapter (đối chứng LR sai) ⚠️

⚠️ KHÔNG DÙNG ĐỂ INFERENCE. Đây là adapter đối chứng cố ý cấu hình sai, được push để làm tư liệu minh hoạ cho bài lab 21 — Fine-tuning LLMs (LoRA/QLoRA), không phải model dùng được.

Tác giả: Trần Văn Hiếu · MSSV 2A202602030

Cấu hình huấn luyện

Giống hệt run correct (cùng vị trí text-linear, cùng rank 16, cùng 32,464,896 tham số) — chỉ khác duy nhất learning rate = 1e-5 thay vì 1e-4 (learning rate quy mô full fine-tuning, quá thấp cho LoRA).

Hạng mục Giá trị
Base model unsloth/Qwen3.5-4B
Vị trí LoRA text-linear (12 module)
Rank (r) 16
Learning rate 1e-5 (sai — nên là 1e-4)
Epochs / steps 2 / 30

Kết quả đánh giá (n = 50 mẫu target)

Metric Giá trị
target accuracy 0.000
format validity 0.000 — không sinh nổi một JSON hợp lệ nào
latency 5243.8 ms (gấp 3.6 lần run đúng — model sinh văn bản dài, không dừng đúng chỗ)

Vì sao vẫn push lên Hub

Final training loss của run này (1.5704) cao hơn correct (~0.627) nhưng không NaN, không phân kỳ — nhìn thoáng qua chỉ có vẻ "hơi kém". Chỉ khi đánh giá trên tập target mới lộ ra model hỏng hoàn toàn. Adapter này được giữ lại làm minh hoạ cho bài học: loss cuối không phải thước đo đủ tin cậy để đánh giá một run fine-tuning.

Downloads last month
8
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Marvis12957/ai_in_action_lab21_wrong_lr

Finetuned
Qwen/Qwen3.5-4B
Adapter
(162)
this model