M1 和 M6 的 D5 子空间与第 5 步权重
本仓库归档 Qwen3-1.7B 的两组 source FullFT 实验资产:M1 使用教师响应 CE,M6 使用当前学生在线采样的 sampled-token OPD。每组完成 5 次更新、80 个 prompts;D5 basis 来自各自 FP32 master 的 W5−W0。
文件位于 第 5 步权重与 D5 basis。每组包含原始 D5 basis 的 4 个 safetensors 分片,以及完整的第 5 步 FP32 master 权重。附有来源记录、可移植 basis manifest、加载器、配置和 tokenizer 参考文件、原始模型 LICENSE 与 SHA256 校验表。
权重格式
完整权重使用 Orbit/Megatron 的原生参数名和融合布局,不是可直接用 Transformers from_pretrained 加载的 HF 模型导出。上传至 HF Hub 不改变这一格式。每份权重含 226 个 FP32 tensors、1,720,574,976 个标量;没有另做 BF16 舍入、量化或未经验证的格式转换。
M1_D5 与 M6_D5 是固定子空间名称,不是后续 LoRA 或 OFT 的第 20 步或第 100 步 checkpoint。LoRA basis 使用 rank36;OFT basis 使用 b128/k16。具体定义与加载示例见资产说明。
下载后校验
将完整资产目录下载到本地,在 full_training_20260927/source_step5_d5/ 中运行 python verify_payload.py 或 sha256sum -c SHA256SUMS.txt。basis 与权重保持原始 tensor 文件逐字节不变;说明文档与顶层分发 manifest 对应本 HF 仓库。
仓库设为私有。未包含 optimizer、scheduler、RNG、训练或评测数据、登录凭据、W0 权重或完整 D5 projection matrices。这是权重和几何资产归档,不是完整续训备份。base_model_reference/ 只含配置、tokenizer 与 LICENSE,不是 W5 模型目录。
W100 target checkpoints added on 2026 10 03
The W100 archive contains 18 completed target checkpoints (13 LoRA and 5 OFT), their native optimizer and RNG states, fixed bases, provenance and checksum manifest. The original source_step5_d5 files remain unchanged. The exclusions described above apply only to that older source archive.
These adapters and native states are not standalone Transformers models. The OFT export uses the matching native precomputed FP32 input-rotation format. See the archive README before loading or resuming. The first 13 targets have completed greedy Math500 and Evalset KL evaluations; the five M6_D5 targets have not yet been evaluated.