zwc2003/tmp-2

nuReasoning 迁移仓库

本仓库按项目根目录（下称 <ROOT>，原机器为 /cephfs/zhengwc/nuReasoning）组织。下载到 <ROOT> 后解包一次， 即得到与原环境同构的目录树；之后无需再打包或解包。MANIFEST.json 列出全部文件、大小，以及每个 tar 分片的来源条目和文件数/字节数。

内容

仓库路径	内容	解包到
data/images/<包>/*.tar	六个既有图像包：sft_images、planning_08b_extra、sft_v3_extra、vqa_v32_extra、planning_surround_extra、vqa_lora_pre2026_extra，即各 SFT 集引用的降采样图像（通常 546×359），各 128 片，count.txt 为图像数	dataset/data/
data/test_inputs/*.tar	devkit 的 test 输入：1,000 个 test clip 的推理图像与已处理输入	.
data/annotations/*.tar	原始非相机文件：metadata、ego_state、annotations、reasoning、map.pkl、test 问题；COMPLETE.json 为打包记录	dataset/data/
data/processed*.tar	generator 输出 processed/	.
data/sft-*.tar	全部 SFT 数据 dataset/sft/（v2 等无法从原始数据逐字节重建，teacher CoT 需要 API）	.
data/dataset-misc.tar	dataset/rl/、dataset/scorer/	.
results/output-*.tar	output/ 下全部非权重文件：预测、64 采样、提交、指标、日志	.
code/nuReasoning.tar	项目源码与记录：tools、train、docs、logs、work_progress 等	.
code/ms-swift*.tar	两份 ms-swift 源码（不含其 output/data/wandb）	external/FluidDrive/
output/alpamayo-1.5-10B/...	权重：池成员 2955、regular12 ckpt1500、RL mid300_450；VQA 的 WODQ 2816/4224；AD Knowledge 1131	已在原路径
models/、external/FluidDrive/NVIDIA/exported_models/	WOD-SFT1186、Qwen3.5-0.8B、Alpamayo-1.5-10B 导出初始化	已在原路径

不含：全部帧的完整相机图（约 1.1 TB，需要时用 tools/stage_hf_transfer.py --cameras 补传为 data/cameras/）、 dataset/data/val_as_test/（硬链接完整 val 相机图的 Codex 复核镜像，有完整相机图后用 tools/codex_val_mirror.py build 重建）、 优化器状态、被否决实验和小模型微调的权重、dataset_probe/、conda 环境 （推理/评分依赖见 tools/migration_devkit/requirements-*.txt）。

下载与恢复

ROOT=/data/nuReasoning
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DISABLE_XET=1 hf download zwc2003/tmp-2 --local-dir "$ROOT" --max-workers 16
bash "$ROOT/restore.sh" "$ROOT" 16     # 并行解包，并运行 verify_restore.py 核对文件数与字节数
rm -rf "$ROOT/data" "$ROOT/code" "$ROOT/results"   # 校验 OK 后可删除 tar（约 400 GB）

代码和 SFT 中有绝对路径，按原路径建立链接即可直接使用：

mkdir -p /cephfs/zhengwc /localdata/nuReasoning
ln -s "$ROOT" /cephfs/zhengwc/nuReasoning
ln -s "$ROOT/external/FluidDrive" /cephfs/zhengwc/FluidDrive
ln -s "$ROOT/dataset" /localdata/nuReasoning/dataset