Ask-Dao v0.2 (已修正 key 嵌套)

⚠️ 重要:本仓库的 adapter 历史上因 PeftModel.from_pretrained 双重包装导致 key 嵌套错误。 旧版本里 PeftModel.from_pretrained 加载会"Found missing adapter keys"并静默丢弃全部权重, 模型实际退化为 base Qwen2.5-3B-Instruct。 现在本仓库的 adapter_model.safetensors 已重新打包为标准深度 8(504/504 keys 命中),可被正确加载。 验证方式:见 shikunpunk/ask-dao-v0.3 仓库里 "Holdout 泛化对比" 一节。

推荐使用最新版本

👉 shikunpunk/ask-dao-v0.3 —— 从本版本续训 + judge-filtered 数据,正向迭代。

本版本训练

  • 数据:154 条单句化问题(蛋白质组学 / 液体活检)
  • 基础:Qwen/Qwen2.5-3B-Instruct(4-bit QLoRA, r=16, alpha=32, all-linear)
  • 3 epochs,max_len=2048,assistant-only loss
Downloads last month
16
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for shikunpunk/ask-dao

Base model

Qwen/Qwen2.5-3B
Adapter
(1313)
this model