jiangjy0508/so101-fixederaser-mousepad-act

SO-101 E1 Fixed ACT：三种子 50K 训练

本目录实现 ACT_TRAINING_HANDOFF_EXPERIMENT1.md 的训练流程，且只使用本地数据：

/data/gpu/datasets/so101_eraser_mousepad_e1_fixed_30ep_20260822_162530

固定实验合同

• 30 episodes、6,731 帧、15 Hz；训练 0–23，验证 24–29。
• 单腕部 RGB 相机，6 维状态，6 维绝对关节目标动作。
• ACT + ResNet18 ImageNet 初始化；chunk_size=40、n_action_steps=5。
• batch size 8、AMP 关闭、所有图像增强关闭。
• seed 1000/2000/3000 各 50K；验证每 1K，checkpoint 每 5K。
• 本地日志和 CSV 是权威数据；W&B 项目为 so101-position-generalization。

数据验收和本地 revision 位于 artifacts/dataset_manifest/。

已记录的软件差异

交接文档目标是 LeRobot 0.6.0；当前云端实际环境是 LeRobot 0.6.1、Git commit 95211b98f1cd6b638bda84a8d28f9e41323229dd（v0.6.0-50-g95211b98-dirty）。 本实验不会升级依赖，也不会改动现有 dirty worktree。每次 GPU run 都会把实际环境快照保存到 artifacts/environment/<run>/。

GPU 终端准备

先确认 4090 和 W&B 登录：

nvidia-smi
/data/gpu/envs/lerobot/bin/wandb login

推荐：一条 tmux 命令执行完整流水线

该命令先跑 500-step seed-1000 准入。只有显存、遥测、验证和异常检查全部通过，才会按 1000 → 2000 → 3000 顺序运行三个 50K 正式任务；全部完成后自动生成指标、图表和哈希。

tmux new-session -d -s so101_e1_act \
  '/data/gpu/experiments/so101_e1_fixed_act/scripts/run_all.sh'
tmux attach -t so101_e1_act

分阶段运行

先运行准入：

tmux new-session -d -s so101_e1_pilot \
  '/data/gpu/experiments/so101_e1_fixed_act/scripts/run_pilot.sh'
tmux attach -t so101_e1_pilot

确认 results/pilot_admission.json 为 passed 后，运行三个正式 seed：

tmux new-session -d -s so101_e1_formal \
  '/data/gpu/experiments/so101_e1_fixed_act/scripts/run_formal_all.sh'
tmux attach -t so101_e1_formal

产物位置

• 日志：logs/pilot_seed1000.log、logs/seed_{1000,2000,3000}.log
• 完整流水线日志：logs/pipeline.log
• GPU 遥测：telemetry/*.csv
• checkpoint：runs/seed_<seed>/checkpoints/
• 权威指标：metrics/training_metrics.csv、metrics/run_summary.csv
• 图表：figures/*.png 与 figures/*.pdf
• 最佳模型：selected_checkpoints.json
• 模型哈希：checkpoint_sha256.txt

所有启动脚本拒绝覆盖已有日志或 run 目录，防止误删已完成实验。

Pilot 已完成但 W&B 收尾卡住时恢复

先在原 tmux 窗口按 Ctrl-C，确认 GPU telemetry 停止增长；然后从已完成的 500-step checkpoint 继续准入分析和正式训练，不会重跑 pilot：

tmux new-session -d -s so101_e1_resume \
  '/data/gpu/experiments/so101_e1_fixed_act/scripts/resume_after_pilot.sh'
tmux attach -t so101_e1_resume

后续训练入口会显式执行 wandb.finish()，并关闭非必要的 W&B checkpoint artifact 上传， 但在线指标监控仍保持开启。