chenhaodev/tcm-qwen3-8b-lora

Qwen3-8B-LoRA：中药学知识问答 + 中西药结合 + 审核官

基于《中药学（新世纪第四版 · 钟赣生主编，全国中医药行业高等教育“十三五”规划教材）》883页教材蒸馏训练的 Qwen3-8B LoRA 适配器。 本模型用教师大模型把教材全部知识蒸馏为教学/临床问答数据，并额外训练了：

1. 中药知识问答（性味归经、功效、应用、用法用量、使用注意、现代研究、鉴别用药）
2. 中西药结合用药（中药 + 西药联用、相互作用、监测与宜忌）
3. 审核官/幻觉审查（判定大模型中药回答是否正确、是否存在错误/幻觉、是否建议重新 RAG）

数据规模与覆盖

• 教材抽取：描述 410 味中药 的结构化药材条目（覆盖 各论 第8~28章，21 章）
• 原子知识点索引：4172 条（药性/功效/各个主治应用/用法用量/使用注意/现代研究/总论/病证用药）
• 训练样本：**~13,000** 条（train ~12,600 / eval ~650），含：
  • 事实问答（rule-based，保证 100% 药材覆盖，每味药 ≥5 条）
  • 教师蒸馏自然问答（herb_natural / 应用辨证 / 同类鉴别 / 总论 / 病证用药）
  • 中西药结合场景（每味中药与多个西药如阿司匹林、氯吡格雷、呋塞米、二甲双胍等配对）
  • 审核官数据（正确 vs 错误/幻觉判别 + 资料核对判定 A/B/C、风险等级、是否重检索）

训练

• 教师模型蒸馏：本地 vLLM（minimax）多线程 + 断点续跑
• SFT：LoRA r=32，Qwen3-8B，4-bit，bf16，lr 2e-4 cosine，3 epochs，2373 steps，~2.3h @ A800
• 最终训练损失 ≈ 0.50（后期收敛至 ~0.18）

加载与推理

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained("Qwen/Qwen3-8B", max_seq_length=1024, load_in_4bit=True)
model.load_adapter("<本适配器路径>/final")
text = tokenizer.apply_chat_template([{"role":"user","content":"麻黄有什么功效？用量是多少？"}],
        tokenize=False, add_generation_prompt=True, enable_thinking=False)
enc = tokenizer(text, return_tensors="pt").to("cuda")
out = model.generate(input_ids=enc.input_ids, attention_mask=enc.attention_mask,
        max_new_tokens=220, temperature=0.7, top_p=0.8)
print(tokenizer.decode(out[0][enc.input_ids.shape[1]:], skip_special_tokens=True))

审核官用法

把用户问题、大模型回答（可选：检索资料）交给模型，它会输出正确/错误(幻觉)判定、风险等级与是否建议重新 RAG。

中西药结合用法

询问“正在服用某西药，能否与某中药联用”，模型会结合二者药理/性味给出相互作用、监测点与宜忌。

医学免责声明

本模型仅用于中医药教学与药学知识参考，不能替代执业中医师/药师面诊与处方。中西药联用存在相互作用风险，实际用药须遵医嘱，并核对权威药品说明书。作者对任何诊疗决策不承担责任。

版权说明

仅发布 LoRA 权重与训练脚本、模型卡与 RAG 检索库。不发布源自原版教材的原始正文训练数据，尊重原教材版权。