Instructions to use modrill/CNX-F01B-0.5M with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use modrill/CNX-F01B-0.5M with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
CNX-F01B-0.5M
本仓库平等发布 F01b 的三个普通 PEFT LoRA adapter(训练种子 43、44、45)。没有选择或标记“best seed”;请仅为复现需要显式选择种子,不要依据这里的诊断 benchmark 进行 seed 选择。
模型与训练合同
- Base:
Qwen/Qwen3-4B-Base,精确 revision906bfd4b4dc7f14ee4320094d8b41684abff8539。 - 严格 no-think;训练 completion 为 fenced code,监督终止 token 为
151643,训练目标中151645计数为 0。 - 普通 LoRA:
r=64、alpha=128、dropout0.0;目标模块为q/k/v/o_proj与gate/up/down_proj。 - F01b 的唯一方法轴改动:把 optimizer 更新组织为 60 个按监督 target token 平衡的窗口。其余共享训练合同保持不变。
- 剂量:
500,170个有效监督 target tokens,1,897行;padding 0、oversampling 0、截断行 0。 - 三个训练种子:
43 / 44 / 45,地位完全相同。
每个 seed43/、seed44/、seed45/ 子目录都包含可由 PEFT 直接加载的 adapter_config.json 和 adapter_model.safetensors。发布版配置将本地 Base 路径替换为公开模型 ID,并固定上述 revision;权重字节保持 receipt 哈希不变。
加载示例
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "Qwen/Qwen3-4B-Base"
base_revision = "906bfd4b4dc7f14ee4320094d8b41684abff8539"
adapter_repo = "modrill/CNX-F01B-0.5M"
seed_subfolder = "seed43" # seed43 / seed44 / seed45;三者平等
tokenizer = AutoTokenizer.from_pretrained(base_id, revision=base_revision)
base = AutoModelForCausalLM.from_pretrained(
base_id,
revision=base_revision,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model = PeftModel.from_pretrained(base, adapter_repo, subfolder=seed_subfolder)
messages = [{"role": "user", "content": "Write a Python function that ..."}]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
enable_thinking=False,
return_tensors="pt",
).to(model.device)
outputs = model.generate(inputs, max_new_tokens=8192, eos_token_id=[151643, 151645])
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
Matched forensic 诊断结果
同一冻结 runner(SHA-256 6dd31dc3973f29ff964113295c835d73e992f0750552af626826e5ade44b7dee)下,3 个训练种子 × 3 个评测种子的 matched forensic final matrix v2 汇总为:
- HumanEval+:86.667%
- LCB DEV256:33.116%
- MBPP+:81.163%
- LCB 相对 official control:**+1.215 pp**,cluster-bootstrap 95% CI
[-0.434, 2.865] pp,跨 0。 - LCB 相对 Base:**+0.955 pp**,cluster-bootstrap 95% CI
[-1.563, 3.472] pp,跨 0。
这些结果仅为 diagnostic,不构成 survivor、winner 或 best-seed 声明,也未授权后续训练。终止审计汇总为 API finish_reason=stop 99.4179%(3928/3951)、长度 cap 0.5821%(23/3951);现有 wire artifact 无法区分实际 stop ID 是 151643 还是 151645,因此不作终止机制声明。evaluation_summary.json 只含汇总分数、CI 和计数,不含题目、预测或 benchmark asset。
用途与限制
适用于 no-think 代码生成研究、可复现实验和下游评估。它不是经过生产安全、网络安全、事实性或所有编程语言验证的系统;生成代码可能错误、不安全或侵犯第三方权利,部署前必须人工审查并在隔离环境测试。公开诊断分数不应被用于从三个训练种子中挑选“最佳”模型。
本仓库不包含训练数据、benchmark 题目、预测、review、sandbox 产物、hidden 数据或内部日志。
许可证与数据说明
Base 模型在上述精确 revision 的 Hugging Face 模型卡中标注为 Apache-2.0。训练所用本地 materialized pool 的聚合 receipt 没有建立完整的上游数据许可证链,因此本发布不为 adapter 另行声明或推定许可证,也不把 Base 的许可证表述为训练数据权利。公开可下载不等于授予任何额外权利;使用者应自行核验适用条款。训练数据不随本仓库发布。
English summary
CNX-F01B-0.5M publicly releases three equally positioned standard PEFT LoRA adapters (training seeds 43/44/45) for the exact Qwen3-4B-Base revision above. F01b changes only the update boundary to 60 target-token-balanced optimizer windows. The matched results are diagnostic only; confidence intervals for the reported LCB deltas cross zero, no survivor/winner claim is made, and no best seed is selected. No raw training or benchmark content is included. The base is marked Apache-2.0, while this release makes no separate adapter-license claim because the complete upstream training-data license chain was not established by the aggregate receipts.
- Downloads last month
- -
Model tree for modrill/CNX-F01B-0.5M
Base model
Qwen/Qwen3-4B-Base