yuwen-v3-lora: 语文阅读理解专项微调 LoRA 适配器

模型简介

本仓库是 yuwen-v3 的 LoRA 适配器权重，基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调，专为语文阅读理解答题场景优化。

合并后的完整模型请前往 lemonbucket/yuwen-v3

基座模型

项目	说明
模型	Qwen/Qwen3.5-0.8B
参数量	~0.8B
架构	Qwen3.5 (混合线性注意力 + 全注意力)

LoRA 微调配置

参数	值
微调方式	LoRA (PEFT)
秩 (r)	64
Alpha	128
Dropout	0.1
目标模块	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
任务类型	Causal LM
训练轮数	8 Epochs (376 steps)
批次大小	1 × 8 (梯度累积)
学习率	1e-4
预热比例	5%
最大序列长度	1024
精度	F32
设备	Apple Silicon MPS

目标模块覆盖范围: Attention 全部 4 个投影 (q/k/v/o_proj) + MLP 全部 3 个投影 (gate/up/down_proj)，共 7 个线性层。

训练过程

• 最佳检查点: Step 90 (Epoch ~2), eval_loss = 0.2705
• 最终训练 Loss: ~0.015
• 训练耗时: ~4.76 小时 (17151 秒)
• 训练框架: HuggingFace Transformers + PEFT

注: 从 Step 90 后验证损失开始上升 (0.28→0.30→0.32)，说明第 2 个 Epoch 后开始过拟合。

加载方式

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 加载基座模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3.5-0.8B",
    torch_dtype="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B", trust_remote_code=True)

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "lemonbucket/yuwen-v3-lora")

# 推理
messages = [
    {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
    {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

许可证

Apache 2.0（继承自 Qwen3.5 基座模型）

致谢

• 基座模型: Qwen/Qwen3.5-0.8B by Alibaba Qwen Team
• 微调框架: HuggingFace Transformers + PEFT
• 训练者: 柠檬桶 (lemonbucket)