hongduc05/qwen-chat-sum-10

Qwen3 Chat Summarization

PEFT LoRA adapter for Vietnamese chat summarization.

Training

• Requested and saved base model: Qwen/Qwen3-1.7B
• Unsloth-resolved ID before portable normalization: Qwen/Qwen3-1.7B
• Unsloth FP16/BF16 LoRA training, not QLoRA.
• No quantization was used during training.
• Winner run: lr2e3-adamw-b4-ga16.
• LoRA rank: 32; alpha: 64; dropout: 0.05.
• Target modules: q_proj, k_proj, v_proj, o_proj.
• Learning rate: 0.0004; scheduler: cosine; warm-up ratio: 0.03; optimizer: adamw_torch.
• Per-GPU batch size: 8; gradient accumulation: 16; effective batch size: 128.
• Maximum epochs: 6; stopped epoch: 3.564; weight decay: 0.
• Best validation loss: 1.061012; perplexity: 2.889295.
• Baseline lr2e3-adamw-b4-ga16 validation loss: 1.061012; absolute improvement: 0.000000; improvement >= 0.01: False.
• Context length: 1024; max new tokens: 70.
• Prompt uses a Vietnamese system instruction and a manual An/Bình/Chi/Dũng one-shot.
• Thinking is disabled with enable_thinking=False.
• Data split: grouped by normalized Chat with seed 42; exactly 180 validation rows and 180 test rows, with all remaining rows used for training; workbook rows after cleaning: 8074.

Prompt

System instruction: Bạn là trợ lý tóm tắt hội thoại tiếng Việt. Hãy viết một bản tóm tắt ngắn gọn, trung thực và mạch lạc, chỉ dựa trên thông tin có trong hội thoại. Nêu các nội dung quan trọng chính của cuộc hội thoại, cô đọng xúc tích Không bịa thêm, không suy luận, không lặp lại hội thoại, không dùng tiêu đề hoặc lời dẫn. Chỉ trả về bản tóm tắt cuối cùng gồm 1-2 câu bằng tiếng Việt.

Manual one-shot outside the dataset:

An: Tối mai cả nhóm rảnh không, đi ăn nướng mừng hoàn thành đồ án đi! Bình: Kèo này duyệt liền nha, nộp bài xong nhẹ cả người. Chi: Mấy giờ thế mọi người? Tầm sau 7h tối mình mới tan ca làm thêm được. Dũng: 7h30 hợp lý nè, để mình ghé chỗ làm đón Chi cho tiện đường luôn. Chi: Cảm ơn Dũng nhiều nhé! An: Vậy chốt 7h30 ở quán nướng ngói đường Phan Xích Long nhé. Bình: Quán đó đông lắm á, có cần đặt bàn trước không An? An: Yên tâm, mình vừa gọi điện giữ bàn 4 người rồi. Dũng: Quá chuẩn, mai ai tới trễ bao tiền nước nha! Bình: Nhất trí kèo, hẹn mọi người tối mai.

One-shot summary: Cả nhóm thống nhất tụ tập ăn đồ nướng vào 7h30 tối mai tại đường Phan Xích Long để mừng xong đồ án. An đã chủ động đặt trước bàn 4 người, còn Dũng sẽ ghé đón Chi sau giờ làm.

Inference

• vLLM loads Qwen/Qwen3-1.7B in float16; BitsAndBytes is intentionally disabled to avoid duplicate custom-op registration in the pinned vLLM stack.
• The best PEFT LoRA adapter is attached with LoRARequest; the base model is not merged or uploaded.
• Sampling: temperature=0.7, top_p=0.8, top_k=20, min_p=0, max_tokens=70, seed=42.
• Metrics tokenize Vietnamese text with underthesea.
• METEOR uses exact Vietnamese token matches without English stemming or WordNet.

Evaluation on held-out test split

Metric	Value
Mean BLEU	0.148115
Mean ROUGE-1 F1	0.484426
Mean ROUGE-2 F1	0.209424
Mean ROUGE-L F1	0.407571
Mean METEOR	0.402875
Latency mean (sec)	3.629148
Latency p50 (sec)	3.443647
Latency p95 (sec)	4.854478

The Excel file containing ground-truth test summaries is intentionally not uploaded to this repository.