YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
Qwen3 Chat Summarization
PEFT LoRA adapter for Vietnamese chat summarization.
Training
- Requested and saved base model: Qwen/Qwen3-1.7B
- Unsloth-resolved ID before portable normalization: Qwen/Qwen3-1.7B
- Unsloth FP16/BF16 LoRA training, not QLoRA.
- No quantization was used during training.
- Winner run: R32-L20.
- LoRA rank: 32; alpha: 128; dropout: 0.05.
- Target modules: q_proj, k_proj, v_proj, o_proj.
- Learning rate: 0.0002; minimum LR ratio: 0.1; optimizer: adamw_torch_fused.
- Per-GPU batch size: 4; gradient accumulation: 8; effective batch size: 32.
- Maximum epochs: 4; stopped epoch: 4.000; weight decay: 0.01.
- Best validation loss: 2.078019; perplexity: 7.988629.
- Baseline R32-L20 validation loss: 2.078019; absolute improvement: 0.000000; improvement >= 0.01: False.
- Context length: 2048; max new tokens: 256.
- Prompt uses a Vietnamese system instruction and a manual Lan/Minh one-shot.
- Thinking is disabled with enable_thinking=False.
- Data split: grouped 80/10/10 by normalized Chat with seed 42; workbook rows after cleaning: 10.
Prompt
System instruction: Bạn là trợ lý tóm tắt hội thoại tiếng Việt. Tóm tắt trung thực, ngắn gọn bằng tiếng Việt, nêu chủ đề, quyết định, kế hoạch và phân công quan trọng nếu có. Chỉ trả về bản tóm tắt cuối cùng, không suy luận nội bộ và không thêm lời mở đầu.
Manual one-shot outside the dataset:
Lan: Mình cần chốt lịch họp để chuẩn bị báo cáo tuần. Minh: Mình rảnh lúc 15 giờ chiều nay. Bạn chuẩn bị phần nội dung báo cáo nhé. Lan: Được, mình sẽ chuẩn bị nội dung; Minh gửi đường dẫn cuộc họp cho mình nhé. Minh: Thống nhất họp lúc 15 giờ, mình sẽ gửi đường dẫn.
One-shot summary: Lan và Minh thống nhất họp lúc 15 giờ; Lan chuẩn bị nội dung báo cáo, còn Minh gửi đường dẫn cuộc họp.
Inference
- vLLM loads Qwen/Qwen3-1.7B in float16; BitsAndBytes is intentionally disabled to avoid duplicate custom-op registration in the pinned vLLM stack.
- The best PEFT LoRA adapter is attached with LoRARequest; the base model is not merged or uploaded.
- Sampling: temperature=0.7, top_p=0.8, top_k=20, min_p=0, max_tokens=256, seed=42.
- Metrics tokenize Vietnamese text with underthesea.
- METEOR uses exact Vietnamese token matches without English stemming or WordNet.
Evaluation on held-out test split
| Metric | Value |
|---|---|
| Mean BLEU | 0.052519 |
| Mean ROUGE-1 F1 | 0.472727 |
| Mean ROUGE-2 F1 | 0.075472 |
| Mean ROUGE-L F1 | 0.327273 |
| Mean METEOR | 0.277129 |
| Latency mean (sec) | 3.070335 |
| Latency p50 (sec) | 3.070335 |
| Latency p95 (sec) | 3.070335 |
The Excel file containing ground-truth test summaries is intentionally not uploaded to this repository.