ascendho/qwen3.5-0.8b-sft-lora

Q-CARE 0.8B SFT LoRA

面向资源受限端侧的传感器根因诊断（四类：COMMUNICATION_FAULT / POWER_FAULT / PROCESS_ANOMALY / SENSOR_FAULT + 证据 JSON），Qwen3.5-0.8B 上的 LoRA SFT 适配器。

仓库结构

路径	说明
seed17/	主权重，350 iters（原始 formal 轮）
seed7/	预注册 sweep 通过，350 iters
seed37/	fallback：500 iters + 按验证集 Macro-F1 选 ckpt@420
sft-kd-seed17/	SFT+KD 热启动蒸馏（iter250 选中，Macro-F1 0.897）
sft-kd-seed7/	SFT+KD 热启动蒸馏（iter250 选中，Macro-F1 0.978）
sft-kd-seed37/	SFT+KD 热启动蒸馏（ckpt@105 选中，Macro-F1 0.994）
sft-soup/	SFT 三 seed 秩拼接汤（rank-24 单 adapter，免筛选，Macro-F1 0.899）
sft-kd-soup/	KD 三 seed 秩拼接汤（rank-24 单 adapter，免筛选，Macro-F1 0.903）

每个子目录含 adapters.safetensors + 训练配置/元数据 + 说明。soup 为 rank=24 / scale=5.333 配置（三 seed 增量的精确均值），加载方式与普通 adapter 相同。

训练

• Base model: Qwen3.5-0.8B（训练时为 MLX 4bit）
• 方法: LoRA（rank=8, scale=16），lr=5e-5，mask_prompt=True
• 数据: Q-CARE v3 train（1600 条，四类均衡）；未使用测试集

验证集指标（320 条，seed17 划分）

权重	Accuracy	Macro-F1	严格 JSON	最低类召回	证据覆盖
seed17（主权重）	0.850	0.846	1.000	0.688	0.841
seed7	0.856	0.854	1.000	0.600	0.831
seed37（ckpt@420）	0.938	0.937	1.000	0.900	0.838

三 seed 聚合：Acc 0.881±0.049 / Macro-F1 0.879±0.051。

SFT+KD（热启动蒸馏，三 seed formal）

从 SFT adapter 以 27B 教师软标签续训 KD（250 iters, lr 1e-5），{35,105,175,250} ckpt 按验证集 F1 选优：

权重	选中 ckpt	Macro-F1（SFT 基线）
sft-kd-seed17	iter250	0.897（0.846）
sft-kd-seed7	iter250	0.978（0.854）
sft-kd-seed37	iter105	0.994（0.937）

聚合：Acc 0.955±0.054 / Macro-F1 0.956±0.052（SFT 为 0.881±0.049 / 0.879±0.051）。冷启动蒸馏会坍缩，必须先 SFT 再 KD；KD 轨迹非单调，ckpt 选优必须。

⚠️ 泛化警示：KD 的 val 增益在 held-out 场景的密封 test 上不迁移（三 seed test Macro-F1 0.649±0.028，SENSOR_FAULT 召回≈0；SFT seed17 test 为 0.810）。部署请使用 SFT 或 soup 权重，KD 权重仅供复现实验。

使用

MLX / mlx-lm 格式，需 base + adapter：

mlx_lm.generate --model Qwen/Qwen3.5-0.8B --adapter-path <本仓库目录>/seed17 --prompt "..."

Transformers/PEFT 用户需先用 mlx_lm.fuse 合并后再转换格式。