LingBot-VLA 2.0 · RoboTwin 2.0 clean-only · 累计 10k 步

从 robbyant/lingbot-vla-v2-6b 预训练权重出发,只用 RoboTwin 2.0 Aloha-AgileX 50 个任务 × 50 条 clean 示教数据(549,787 帧)后训练得到的存档。训练累计 10,000 步,约 4.2 个 epoch,对应我们训练 run clean50-v2b 的第 7500 步。用于天池「蚂蚁灵波具身大模型挑战赛」(532514)仿真赛道。

这是参赛队伍自己训练的权重,不是 Robbyant 官方发布的模型。基座模型和上游代码使用 Apache-2.0 许可证,本仓库沿用同一许可证。

训练

  • 训练数据: 只用 clean 数据,没有 randomized 数据,也没有外部数据和仿真 rollout。官方 robotwin 后训练权重没有用过,既不作起点,也不作蒸馏教师。
  • 配方: 下面几项之外,与官方 configs/vla/robotwin/robotwin.yaml 一致:
    • 归一化统计只用 clean 数据计算;
    • 开启颜色增广(亮度 0.7~1.3、对比度 0.6~1.4、饱和度 0.5~1.5);
    • 每卡 batch 16 × 梯度累积 2,优化器 Muon;
    • 学习率 1e-4 按 cosine 衰减到 5e-5,没有 warmup;
    • 每 2500 步存一次档。
  • 经过: 分两段训练。
    • 第一段:8 × A100,全局 batch 256,训到第 2500 步;
    • 第二段:从第一段第 2500 步的权重继续,7 × A100,全局 batch 224,训到第 7500 步,即累计 10k。
  • 学习率: 训练计划共 50k 步,这个存档处学习率是 9.70e-5,离降完还早。
  • 复现脚本和配置在 GitHub 仓库 HAOTianGa03/lingbot-robotwin-clean50,目前是私有仓库。

评测

口径 clean(seen 指令) randomized(unseen 指令)
快评:50 任务 × 5 局 74.0% 46.4%
比赛口径:50 任务 × 100 局,专家最多 5 次 **68.08%**(3404/5000) **42.48%**(2124/5000)

推理参数:FP32,每次执行 50 步(use_length 50),RoboTwin 13c3c47,lingbot-vla-v2 be969b8。

文件

lingbotvla_cli.yaml                          训练器保存的完整配置(内部路径已替换为 /path/to/work);评测时推理服务会读取它
checkpoints/global_step_7500/hf_ckpt/        权重(6 个 safetensors 分片,共 25.5 GB)与分词器、处理器配置
checkpoints/global_step_7500/hf_ckpt/SHA256SUMS   各文件的 SHA256
configs/norm_stats/robotwin_clean50.json     clean-only 归一化统计(md5 af1c810ec3dcbbc9029a3c20bd5e4685)
configs/robot_configs/robotwin.yaml          robot config(norm_stats 指向上面的统计)

目录结构与训练输出保持一致,下载后可以直接用复现仓库的 eval.sh 评测。

用法

hf download Owlsnet/lingbot-vla-v2-robotwin-clean50-10k --local-dir /data/clean50-v2b
cd lingbot-robotwin-clean50          # 复现仓库
bash eval.sh /data/clean50-v2b/checkpoints/global_step_7500/hf_ckpt                 # 比赛口径
TEST_NUM=5 bash eval.sh /data/clean50-v2b/checkpoints/global_step_7500/hf_ckpt      # 快速评测

lingbotvla_cli.yaml 里的归一化统计路径是占位路径。eval.sh 发现这个路径不存在时,会改为指向复现仓库里同一份 clean 统计(md5 相同),原文件备份为 .orig。

下载后检查文件是否完整:cd checkpoints/global_step_7500/hf_ckpt && sha256sum -c SHA256SUMS

Downloads last month

-

Downloads are not tracked for this model. How to track
Video Preview
loading

Model tree for Owlsnet/lingbot-vla-v2-robotwin-clean50-10k

Finetuned
(28)
this model