FAKUN/groot-so101-all-objects-v3

GR00T N1.5 · SO-101 · 桌面全物体抓放（v3）

用 NVIDIA GR00T N1.5-3B 在 SO-101 六轴机械臂上微调得到的策略权重（把桌上所有物体抓进盒子）。

这是 SO101-GR00T 开源项目的配套权重。完整流程（采集 → 转换 → 训练 → 部署） 见该仓库的 docs/。

任务

项	值
指令（language）	Put all the objects on the table into the box
动作空间	6 维关节角（度），gripper 0~100
输入	前视 640×360 + 腕部 640×360，15 fps
训练步数	30,000
batch	16
数据集	102 集 / 51,209 帧 / 15 fps（自采）
最终 train_loss	0.08

可训练部分

只训练动作头（DiT 主干 + state/action 编解码 + projector，约 0.75 B）， backbone（SigLIP2 视觉塔 + Qwen3-1.7B）与官方基座逐字节相同（冻结）。

config.json 里可能写着 tune_visual: true，那是构建期写入的值，不代表训练时解冻了视觉塔。

怎么用

# 1) 下载
hf download FAKUN/groot-so101-all-objects-v3 --local-dir ./groot-v3

# 2) 起策略服务（需要 GPU，约 5.6 GB 显存）
python scripts/deploy/100_policy_server_jpeg.py \
    --model-path ./groot-v3 --port 5555

# 3) 本机客户端（另一端接机械臂）
python scripts/deploy/run_groot_official.py --steps 0 --max-rel 8

--model-path 指到本目录即可（里面有 config.json 与两个 safetensors）。

文件

config.json
model-00001-of-00002.safetensors    4.7 GB
model-00002-of-00002.safetensors    2.4 GB
model.safetensors.index.json
experiment_cfg/metadata.json        ← 归一化统计，缺了服务端起不来

sha256 见同目录 SHA256SUMS.txt。

已知限制

• ⚠️ 这份权重是在时间轴错位的数据上训出来的：训练时每帧图像比关节状态超前 3~8 秒 （裁剪脚本把视频裁了却没重写 timestamp）。离线 loss 很低，但真机抓空。 它的价值是一份反面样本，不建议直接用于实际控制。
• 修正数据后同配方重训的版本 train_loss 为 0.0127，见项目 docs/03_DATA_PIPELINE.md。

引用

• 基座：NVIDIA Isaac-GR00T
• 数据集格式与驱动：HuggingFace LeRobot
• 本权重由个人项目产出，未经大规模评测，请自行验证后再用于实际任务。