HyLoKV-27B

基于 Qwen3.8-27B 的 attention-only 共享 KV（HyLoKV）微调模型。把后 8 个 GQA 层的 远历史（>128 token）改由单一共享 KV bank 读取，近 128 token 与全部 GDN（线性注意力） 层保持原生，用低秩 adapter 做逐层读出对齐。目标是压缩 GQA KV 显存，同时尽量不损失模型能力。

模型细节

• 基座：Qwen/Qwen3.8-27B（64 层，(GDN×3 + GQA×1)×16，24 头 / 4 KV 头 / head_dim 256）
• cut_depth = 32：以 H32（第 32 层）输出作为共享记忆来源
• local_window = 128：当前固定块内的 token 用本层原生 KV，更早的历史读共享 bank
• reader_rank = 8：逐层低秩 Q/V 适配（q_down/q_up/v_down/v_up + 一个 global offset）
• 全局 producer：复制第 36 层（0-based 35）的 input_norm + K/V 投影 + KNorm 作为初始化

自定义部分只有约 24 MB（producer 10.5M 参数 + 8 个 reader adapter 共 1.6M 参数）， 其余是微调后的 Qwen3.8-27B 骨干（26.9B 参数，bf16 约 53.8 GB）。

训练

• 数据：dolma3_mix(90%) + 中文 fineweb-2(10%)，stage A 共 10B tokens （纯通用网页文本，不含数学/指令数据）
• 配置：8000 steps，seq-len 2048，tokens-per-batch 4096，8×H100，FSDP2，bf16
• 学习率：base 1e-5 / 新参数 3e-4 差分学习率，cosine 衰减，warmup 50
• 目标：原生 next-token CE（base 骨干与 producer/adapters 一起训练）

评测

**基线 = 原始的 Qwen/Qwen3.8-27B**，候选 = 本模型的共享 KV 前向（hybrid）。

指标	原始 Qwen3.8-27B（基线）	HyLoKV-27B（hybrid）
CE（真实文本）	2.256	2.312（Δ +0.056）
NIAH 长距离检索（4K–32K，12 例）	100%	91.7%
MMLU（14042）	82.67%	80.46%
GSM8K（1319）	44.28%	15.47%

说明：

• 上述基线数字取自基座在冻结骨干的对照实验（此时 native 前向即原始 Qwen3.8-27B 本身）。候选数字是同一 checkpoint 的 hybrid 前向。
• 另一个诊断量是「同一微调权重走 native 路由」（禁用共享 bank + adapter），它既不是 基线、也不是候选，仅用于观察路由本身的影响，故不列入上表。
• GSM8K 掉分主要有两个叠加原因：① 微调数据不含数学 → 灾难性遗忘；② 共享 KV 在长 CoT 生成（>128 token）上会丢失任务上下文、停止信号变弱。这两点均在排查/改进中。

使用

依赖 qwen_shared 包（来自 LaLaLanD_qwen 仓库的 qwen_shared/model.py、 attention_only.py、ced32_core.py）。

pip install safetensors transformers
python load_hy_lokv.py --base Qwen/Qwen3.8-27B --device cuda:0

或手动加载：

from qwen_shared.model import load_base
from qwen_shared.attention_only import AttentionOnlyQwen
from safetensors.torch import load_file
import torch, json

cfg = json.load(open("hy_lokv_config.json"))
base = load_base("Qwen/Qwen3.8-27B", device="cpu", dtype=torch.bfloat16)
model = AttentionOnlyQwen(base, cut_depth=cfg["cut_depth"],
                          local_window=cfg["local_window"],
                          reader_rank=cfg["reader_rank"])
index = json.load(open("model.safetensors.index.json"))
state = {}
for k, f in index["weight_map"].items():
    shard = load_file(f)
    state[k] = shard[k]
model.load_state_dict(state, strict=False).to("cuda:0").eval()

文件

• model-0000X-of-0000Y.safetensors：完整权重（base + producer + adapters，bf16）
• model.safetensors.index.json：分片索引
• hy_lokv_config.json：cut_depth / local_window / reader_rank
• load_hy_lokv.py：参考加载脚本
• config.json / tokenizer 文件：基座配置与词表

限制

这是「质量正确性参考」实现，尚未做推理优化：GlobalKVBank 用 torch.cat 追加、 attention 是 PyTorch gather + FP32 + einsum，无融合 kernel。因此当前推理速度不优于 native；KV 的逻辑容量有下降，但峰值 HBM 收益在短上下文下被模型权重主导，尚未在长 上下文下实测。分页 KV 与 grouped decode kernel 是后续工作。

许可

Apache-2.0（继承自基座 Qwen/Qwen3.8-27B）。