Agriwis/PENG-Qwen3.5-2B

蜀农 · PENG — Qwen3.5-2B 农业领域 QLoRA 微调版

基于 Qwen3.5-2B 多模态基础模型，使用真实业务对话数据，通过 QLoRA 低资源微调得到的农业领域对话模型。

模型概览

属性	说明
模型名称	蜀农 · PENG（Qwen3.5-2B 农业领域微调版）
基座模型	Qwen/Qwen3.5-2B
参数量	2B（约 20 亿）
微调方法	QLoRA（4-bit 量化 + LoRA），SFT 指令微调
硬件要求	最低 11 GB 显存（GTX 1080 Ti 可训可跑）
上下文长度	262,144（原生）
模态支持	文本 / 图像 / 视频（继承基座）

模型定位

本模型是面向农业科技领域的垂直对话模型，基于农业科技创业团队的真实业务讨论数据微调，聚焦以下能力：

• 农业技术问答：种植、养殖、病虫害防治、智能灌溉、植保无人机、农业传感器等

模型架构

继承 Qwen3.5-2B 官方架构，未改动结构，仅通过 LoRA 适配器注入领域知识：

• 架构类型：Qwen3_5ForConditionalGeneration（因果语言模型 + 视觉编码器）
• 文本主干：24 层 Transformer，隐藏维度 2048
• 注意力混合：Gated DeltaNet 线性注意力 + 全注意力（6 组 × [3 线性注意力 + 1 全注意力]）
• 词表大小：248,320（含图像/视频特殊 token）
• 上下文长度：262,144（原生）
• 视觉模块：24 层 ViT（patch 16 × 16），支持图像与视频输入

微调方法

采用 QLoRA（4-bit 量化 + 低秩适配）在单张 GTX 1080 Ti（11 GB）上完成训练，兼顾效果与硬件可行性：

• 基座加载：4-bit 量化（load_in_4bit=True），fp16 计算精度（1080 Ti 不支持 bf16）
• LoRA 配置：r=16，alpha=16，dropout=0.0，bias=none
• 注入模块：q_proj / k_proj / v_proj / o_proj / gate_proj / up_proj / down_proj（注意力 + FFN 全部线性层）
• 训练框架：unsloth FastLanguageModel + TRL SFTTrainer
• 梯度优化：gradient checkpointing + 8-bit AdamW

训练超参数

文本微调（主训练）

超参数	值
最大序列长度	1024
批大小（per device）	1
梯度累积步数	8
有效批大小	8
学习率	2e-4
训练轮数	3
Warmup 步数	5
学习率调度	cosine
优化器	adamw_8bit
权重衰减	0.01
随机种子	42
精度	fp16

局限性

• 未做标准化评测：当前未进行 MMLU、C-Eval 等基准测试，也未与基座做系统性的领域效果对比，建议在真实场景中验证后再上线。
• 幻觉风险：模型可能生成看似合理但未经核实的农业技术细节，重要决策需人工复核。

参考与致谢

• 基座模型：Qwen3.5-2B（Apache-2.0）
• 微调框架：unsloth、TRL、PEFT

---