WAM Cosmos3 模型权重与精选续训状态
本仓库汇总 Cosmos3 交接总结中 C01 至 C42 的 42 组实验，保留全部 99 个保存点的模型权重，约 4.177 TB。完整训练状态只保留 V7 High 13k、V7 Low 13k 和 Super32B 61.5k 三份，额外约 361.43 GB；配置、统计、索引、说明和源码归档约 1.386 GB。当前选定内容合计约 4.54 TB。文件保持原始 DCP 内容，没有转换张量格式。
全量完成以 catalog.json 的 status: complete 为准。 model_upload_complete 表示该保存点的模型已上传；upload_complete 表示该点选定的全部文件已提交。ready_for_resume 仅对保留完整训练状态的三个保存点成立。每个完成选定文件上传的保存点都有 SHA256SUMS.json，可以单独下载与校验。
原始交接总结见 Cosmos3 核心修改与实验交接总结。源码为提交 d9ad62c 的归档，位于 source/；解压后可按原始相对路径浏览代码和文档。原训练数据、公共 VAE、tokenizer 等资源需按交接总结另行准备。
保留的训练状态
| 保存点 | 内容 | 模型之外的训练状态 |
|---|---|---|
| C20 V7 High 13,000 | optim、scheduler、trainer 及元数据 |
55.74 GB |
| C21 V7 Low 13,000 | optim、scheduler、trainer 及元数据 |
55.74 GB |
| C03 Super32B 61,500 | optim、scheduler、trainer 及元数据 |
249.94 GB |
其余保存点只保留 model/ 和相应配置，不继续上传优化器或训练状态。旧提交历史可能仍包含早期上传的状态；当前 main 目录和 catalog.json 表示本次选定范围。
源文件完整性
99 个保存点的模型 DCP 存储引用检查通过。源机器上的 98 个完整保存点四类组件齐全，元数据引用的分片存在且长度覆盖全部 offset。这个检查不分配 GPU，也不表示已经重新执行训练或逐张量加载。
C12 的 iter_000015000 在源机器上不是完整续训快照。 模型 DCP 存储映射通过，但 optim/.metadata、scheduler/ 和 trainer/ 缺失。本次只保存它的模型，这个历史训练状态缺口不影响选定模型文件的归档。
source_validation.json 记录源机器各组件的检查结果，不代表所有源组件都参与当前上传。ready_for_resume 表示选定的完整续训文件上传齐全且源 DCP 存储映射检查通过；训练仍需相应数据、环境、并行配置和模型代码。
空的 rank 分片按原样保留。它们可能是复制并行下未使用 rank 的正常产物，不能直接按零字节判定损坏。prepared 中的原始占位文件也保持不变；例如 V7 的 body_clips.sqlite 原本为零字节，不能把它当成已验证的 SQLite 数据库。
权重与配置路径
catalog.json
source_validation.json
expected_files.jsonl.gz
files.jsonl.gz
artifact_map.json
checkpoint_release.py
experiments/C20/config.yaml
checkpoints/C20/iter_000013000/
model/.metadata
model/*.distcp
optim/.metadata
optim/*.distcp
scheduler/
trainer/
SHA256SUMS.json
artifacts/mnt/yjh/...
source/cosmos-main-d9ad62c.tar.gz
docs/
post_train_scripts/
files.jsonl.gz 在全量完成时生成，记录选定文件的大小和 SHA-256。expected_files.jsonl.gz 从上传开始提供当前计划的路径和大小。每个 SHA256SUMS.json 只包含该点当前选定的组件。artifact_map.json 将原机器上的配置、统计和索引路径映射到本仓库位置，迁移时按此恢复挂载或显式修改对应配置。
每组实验使用自己的 experiments/Cxx/config.yaml，并结合交接总结中的 dataloader、动作契约、归一化统计和推理协议。High/Low 专家需要按该家族配对：AP V7 为 C20/C21，RoboTwin V8 为 C36/C37，RoboTwin V9 为 C38/C39。AP V7 的 13,000 步可作为固定对齐点。不要用旧 latest_checkpoint.txt 推断实际保存点；C12 的原 latest 指针本身就与现存目录不一致。
下载一个完整保存点
安装 requirements.txt 中已验证的 Hub SDK。以下命令仅为当前下载进程移除代理，并使用镜像入口：
env -u HTTP_PROXY -u HTTPS_PROXY -u ALL_PROXY \
-u http_proxy -u https_proxy -u all_proxy \
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DISABLE_XET=1 \
hf download yjh001/WAM-cosmos3 --local-dir WAM-cosmos3 \
--include README.md catalog.json source_validation.json artifact_map.json \
checkpoint_release.py requirements.txt \
'checkpoints/C20/iter_000013000/*' 'experiments/C20/*' \
'artifacts/*' 'source/*'
python WAM-cosmos3/checkpoint_release.py verify \
--local-dir WAM-cosmos3 --checkpoint C20 --step 13000
下载配对专家时，把 C21 的同一步数路径和配置一并加入 --include。推理通常使用保存点下的 model/；保留训练状态的三个点可下载整个 iteration 目录用于续训。其余保存点提供模型初始化和推理所需权重，不提供原优化器恢复。这些是 PyTorch Distributed Checkpoint 文件，需要 Cosmos3 相应代码加载，不能直接当作单个 safetensors 模型使用 from_pretrained。
上传与断点续传
重新盘点时，先运行 audit_inventory.py、源环境中的 validate_dcp.py 和 prepare_release.py，得到原始完整文件计划。随后使用 select_release.py 选取全部模型和少量续训点；--keep-state C20:13000 可重复指定，--models-only 可省略全部训练状态。--public-used-tb 和 --public-quota-tb 填写账户后台显示的值。选择器会保守核算后续上传量，且不按历史对象清理抵扣空间。修改范围前停止上传进程，选择器会保留旧计划备份。
验证步骤依赖源环境的 PyTorch；上传和文件哈希校验只需本仓库的 requirements.txt。已经选好范围的工作目录直接续传，不要重新生成全量计划。
本机工作目录保存完整上传计划和逐文件状态。重复执行同一命令会核对远端文件大小和哈希，跳过已提交文件，并复用服务端已经收到的完整对象。单个未完成的多段文件会重新发送该文件。
python checkpoint_release.py upload \
--work /mnt/yjh/cosmos_hf_work_20261027 \
--repo yjh001/WAM-cosmos3 \
--endpoint https://hf-mirror.com \
--token-file /path/to/hf_token \
--workers 8 --commit-batch 64
python checkpoint_release.py status --work /mnt/yjh/cosmos_hf_work_20261027
token 仅从显式文件或 HF_TOKEN 读取，不使用全局缓存的其他账户。控制请求经 hf-mirror.com，大文件使用签名 URL 直传对象存储，二者均关闭环境代理。脚本直接读取源文件，不生成另一份 TB 级副本；原文件大小或修改时间变化时会停止。一个工作目录只能有一个上传进程。服务端返回存储额度限制时保留已上传进度，不会购买容量或改变仓库可见性。
首次核验可增加 --limit 2，去掉后继续全部文件。全量结束时，上传器再次检查每个远端文件的大小与 LFS SHA-256 或 Git blob SHA-1，并保存 remote_verification.json。
CPU 文件完整性和上传协议回归测试：
python -m unittest -q test_checkpoint_release.py
实验索引
下表中的步数来自 2026 年 10 月 22 日交接总结；上传完整性以 catalog.json 的逐保存点状态为准。
| 编号 | 实验 | 保存步数 |
|---|---|---|
| C01 | Action Pretrain V3 | 5,000, 10,000, 13,000 |
| C02 | Super32B 早期十机 FA2 续训 | 500 |
| C03 | Super32B 当前主线 | 59,250, 59,500, 59,750, 60,000, 60,250, 60,500, 60,750, 61,000, 61,250, 61,500 |
| C04 | Super32B 十一机基线 | 250 |
| C05 | Action Pretrain V4 High | 4,000 |
| C06 | Action Pretrain V4 Low | 4,000 |
| C07 | Action Pretrain V5 High | 3,500 |
| C08 | Action Pretrain V5 Low | 4,000 |
| C09 | Action Pretrain V6 High | 3,500 |
| C10 | Action Pretrain V6 Low | 3,500 |
| C11 | V7 No MoE | 2,500, 5,000, 10,000, 13,000, 44,000 |
| C12 | V7 No self V2V High | 5,000, 10,000, 13,000, 15,000 |
| C13 | V7 No self V2V Low | 5,000, 10,000, 13,000, 14,500 |
| C14 | V7 EgoExo65 重拍 High | 5,000, 10,000 |
| C15 | V7 EgoExo65 重拍 Low | 5,000, 10,000 |
| C16 | V7 MultiCam 重拍 High | 1,000, 3,000, 5,000, 10,000, 11,500 |
| C17 | V7 MultiCam 重拍 Low | 1,000, 3,000, 5,000, 10,000, 11,500 |
| C18 | No self 预训练后的重拍 High | 1,000, 3,000, 5,000, 6,000, 8,000 |
| C19 | No self 预训练后的重拍 Low | 1,000, 3,000, 5,000, 6,000, 10,000, 11,500, 41,500 |
| C20 | Action Pretrain V7 High | 5,000, 10,000, 13,000, 14,500 |
| C21 | Action Pretrain V7 Low | 5,000, 10,000, 13,000, 14,500 |
| C22 | AgiBot Beta gripper | 10,000, 30,000, 33,000 |
| C23 | 咖啡机 RLWM 从袜子权重开始 | 10,000 |
| C24 | 咖啡机 RLWM 第二轮后训练 | 10,000 |
| C25 | G0.5 V1 | 4,000 |
| C26 | G0.5 Route A High | 5,000, 10,000 |
| C27 | G0.5 Route A Low | 5,000, 10,000 |
| C28 | RoboTwin V4 | 1,000 |
| C29 | RoboTwin V5 | 1,000, 4,000 |
| C30 | RoboTwin V6 | 750, 1,500, 2,750 |
| C31 | RoboTwin Head to Multi 前置试验 | 2,000 |
| C32 | RoboTwin SR RGB 前置试验 | 1,000 |
| C33 | RoboTwin V2 | 10,000 |
| C34 | RoboTwin V3 | 1,000 |
| C35 | RoboTwin V7 | 500, 1,000, 1,500 |
| C36 | RoboTwin V8 High | 500 |
| C37 | RoboTwin V8 Low | 500 |
| C38 | RoboTwin V9 High | 500 |
| C39 | RoboTwin V9 Low | 500 |
| C40 | RoboTwin BWM480 | 10,000, 18,000 |
| C41 | 袜子 RLWM | 16,000 |
| C42 | Solar Ego Camera State 早期试验 | 2,000 |