Instructions to use Marvis12957/ai_in_action_lab21_wrong_lr with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use Marvis12957/ai_in_action_lab21_wrong_lr with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B") model = PeftModel.from_pretrained(base_model, "Marvis12957/ai_in_action_lab21_wrong_lr") - Notebooks
- Google Colab
- Kaggle
ai_in_action_lab21_wrong_lr — LoRA adapter (đối chứng LR sai) ⚠️
⚠️ KHÔNG DÙNG ĐỂ INFERENCE. Đây là adapter đối chứng cố ý cấu hình sai, được push để làm tư liệu minh hoạ cho bài lab 21 — Fine-tuning LLMs (LoRA/QLoRA), không phải model dùng được.
Tác giả: Trần Văn Hiếu · MSSV 2A202602030
Cấu hình huấn luyện
Giống hệt run correct (cùng vị trí text-linear, cùng rank 16, cùng 32,464,896 tham số) —
chỉ khác duy nhất learning rate = 1e-5 thay vì 1e-4 (learning rate quy mô full
fine-tuning, quá thấp cho LoRA).
| Hạng mục | Giá trị |
|---|---|
| Base model | unsloth/Qwen3.5-4B |
| Vị trí LoRA | text-linear (12 module) |
| Rank (r) | 16 |
| Learning rate | 1e-5 (sai — nên là 1e-4) |
| Epochs / steps | 2 / 30 |
Kết quả đánh giá (n = 50 mẫu target)
| Metric | Giá trị |
|---|---|
| target accuracy | 0.000 |
| format validity | 0.000 — không sinh nổi một JSON hợp lệ nào |
| latency | 5243.8 ms (gấp 3.6 lần run đúng — model sinh văn bản dài, không dừng đúng chỗ) |
Vì sao vẫn push lên Hub
Final training loss của run này (1.5704) cao hơn correct (~0.627) nhưng không NaN, không
phân kỳ — nhìn thoáng qua chỉ có vẻ "hơi kém". Chỉ khi đánh giá trên tập target mới lộ ra
model hỏng hoàn toàn. Adapter này được giữ lại làm minh hoạ cho bài học: loss cuối không
phải thước đo đủ tin cậy để đánh giá một run fine-tuning.
- Downloads last month
- 8