CNX-F01B-0.5M

本仓库平等发布 F01b 的三个普通 PEFT LoRA adapter(训练种子 43、44、45)。没有选择或标记“best seed”;请仅为复现需要显式选择种子,不要依据这里的诊断 benchmark 进行 seed 选择。

模型与训练合同

  • Base:Qwen/Qwen3-4B-Base,精确 revision 906bfd4b4dc7f14ee4320094d8b41684abff8539
  • 严格 no-think;训练 completion 为 fenced code,监督终止 token 为 151643,训练目标中 151645 计数为 0。
  • 普通 LoRA:r=64alpha=128、dropout 0.0;目标模块为 q/k/v/o_projgate/up/down_proj
  • F01b 的唯一方法轴改动:把 optimizer 更新组织为 60 个按监督 target token 平衡的窗口。其余共享训练合同保持不变。
  • 剂量:500,170 个有效监督 target tokens,1,897 行;padding 0、oversampling 0、截断行 0。
  • 三个训练种子:43 / 44 / 45,地位完全相同。

每个 seed43/seed44/seed45/ 子目录都包含可由 PEFT 直接加载的 adapter_config.jsonadapter_model.safetensors。发布版配置将本地 Base 路径替换为公开模型 ID,并固定上述 revision;权重字节保持 receipt 哈希不变。

加载示例

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_id = "Qwen/Qwen3-4B-Base"
base_revision = "906bfd4b4dc7f14ee4320094d8b41684abff8539"
adapter_repo = "modrill/CNX-F01B-0.5M"
seed_subfolder = "seed43"  # seed43 / seed44 / seed45;三者平等

tokenizer = AutoTokenizer.from_pretrained(base_id, revision=base_revision)
base = AutoModelForCausalLM.from_pretrained(
    base_id,
    revision=base_revision,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(base, adapter_repo, subfolder=seed_subfolder)

messages = [{"role": "user", "content": "Write a Python function that ..."}]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=False,
    return_tensors="pt",
).to(model.device)
outputs = model.generate(inputs, max_new_tokens=8192, eos_token_id=[151643, 151645])
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))

Matched forensic 诊断结果

同一冻结 runner(SHA-256 6dd31dc3973f29ff964113295c835d73e992f0750552af626826e5ade44b7dee)下,3 个训练种子 × 3 个评测种子的 matched forensic final matrix v2 汇总为:

  • HumanEval+:86.667%
  • LCB DEV256:33.116%
  • MBPP+:81.163%
  • LCB 相对 official control:**+1.215 pp**,cluster-bootstrap 95% CI [-0.434, 2.865] pp,跨 0。
  • LCB 相对 Base:**+0.955 pp**,cluster-bootstrap 95% CI [-1.563, 3.472] pp,跨 0。

这些结果仅为 diagnostic,不构成 survivor、winner 或 best-seed 声明,也未授权后续训练。终止审计汇总为 API finish_reason=stop 99.4179%(3928/3951)、长度 cap 0.5821%(23/3951);现有 wire artifact 无法区分实际 stop ID 是 151643 还是 151645,因此不作终止机制声明。evaluation_summary.json 只含汇总分数、CI 和计数,不含题目、预测或 benchmark asset。

用途与限制

适用于 no-think 代码生成研究、可复现实验和下游评估。它不是经过生产安全、网络安全、事实性或所有编程语言验证的系统;生成代码可能错误、不安全或侵犯第三方权利,部署前必须人工审查并在隔离环境测试。公开诊断分数不应被用于从三个训练种子中挑选“最佳”模型。

本仓库不包含训练数据、benchmark 题目、预测、review、sandbox 产物、hidden 数据或内部日志。

许可证与数据说明

Base 模型在上述精确 revision 的 Hugging Face 模型卡中标注为 Apache-2.0。训练所用本地 materialized pool 的聚合 receipt 没有建立完整的上游数据许可证链,因此本发布不为 adapter 另行声明或推定许可证,也不把 Base 的许可证表述为训练数据权利。公开可下载不等于授予任何额外权利;使用者应自行核验适用条款。训练数据不随本仓库发布。

English summary

CNX-F01B-0.5M publicly releases three equally positioned standard PEFT LoRA adapters (training seeds 43/44/45) for the exact Qwen3-4B-Base revision above. F01b changes only the update boundary to 60 target-token-balanced optimizer windows. The matched results are diagnostic only; confidence intervals for the reported LCB deltas cross zero, no survivor/winner claim is made, and no best seed is selected. No raw training or benchmark content is included. The base is marked Apache-2.0, while this release makes no separate adapter-license claim because the complete upstream training-data license chain was not established by the aggregate receipts.

Downloads last month
-
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for modrill/CNX-F01B-0.5M

Adapter
(79)
this model