pi0_soarm101_full_v203_50k

SO-ARM101 Pro 药瓶抓取放置策略 —— pi0 全量微调（冻结视觉编码器），50,000 步。

模型信息

项	值
基座	lerobot/pi0_base（OpenPI π₀，约 3.5B 参数）
微调方式	全量微调（冻结视觉编码器）：freeze_vision_encoder=true，语言模型 + Action Expert + 全部投影层全量更新（3.09B 参数）
训练步数	50,000 步（batch=8，≈ 5.1 epochs）
训练数据	franecki/pill_bottle_203（203 集原始数据，77,944 帧，相机固定采集）
数据质量	全量时间戳扫描 0 超差（默认 tolerance 0.0001 全通过）
输出	完整权重（bf16，~6.6GB），直接加载，无需合并
任务指令（prompt，必须逐字符一致，含句号）	Pick up the white pill bottle and place it inside the black tape circle.

训练配置

• 冻结：SigLIP 视觉编码器（~0.41B 参数）
• 训练：Gemma-2B 语言模型 + Gemma-300M Action Expert + 全部投影层（3.09B 参数，非 LoRA）
• bfloat16 + gradient checkpointing，batch=8
• LR：cosine，峰值 2.5e-5，衰减至 2.5e-6（50k 步铺满）
• 训练 loss 收敛至 ~0.05 量级

环境要求

• Python 3.10，LeRobot 0.4.4（Seeed fork：github.com/Seeed-Projects/lerobot）
• pip install -e ".[pi]" + pip install peft
• NVIDIA GPU ≥8GB 显存（推理）

下载

export HF_ENDPOINT=https://hf-mirror.com HF_HUB_DISABLE_XET=1
huggingface-cli download franecki/pi0_soarm101_full_v203_50k \
  --repo-type model \
  --local-dir ~/models/pi0_soarm101_full_v203_50k

部署要点

1. tokenizer：模型配置中的 tokenizer_name 指向 /root/data/paligemma_tokenizer。部署端需将 tokenizer 目录（tokenizer.json / tokenizer.model / tokenizer_config.json / special_tokens_map.json / config.json / preprocessor_config.json 共 6 个文件）放到该路径；否则修改 policy_preprocessor.json 中的 tokenizer_name。
2. 加载：PI0Policy.from_pretrained("/root/models/pi0_soarm101_full_v203_50k")，用绝对路径，勿用 ~。
3. 观察输入：observation.images.top（顶部 640×480）+ observation.images.gripper（腕部 640×480）+ observation.state（6 维关节角，归一化 -100..100）。
4. prompt 必须严格一致（含句号）：Pick up the white pill bottle and place it inside the black tape circle.
5. 动作输出：action chunk，50 步（chunk_size=50），6 维。

Jetson（AGX Orin 64GB）提示

• 推理约 0.52s/次；配合 action chunk 执行，控制频率 0.51Hz 可行
• 慢则降级：num_inference_steps 10→5 → RTC → 远程推理
• 视频解码 aarch64 自动回退 pyav
• wrist_roll 维度归一化 std ≈ 1.99（活动范围小）：真机若腕部抖动明显，可 clamp stats 后重训
• 相机保持与采集时一致的位置/光照

相关仓库

• 数据集：franecki/pill_bottle_203（原始 203 集）、franecki/pill_bottle_200（清洗版，不推荐）
• 历史模型：franecki/pi0_soarm101_expert_only、franecki/pi0_soarm101_lora、franecki/pi0_soarm101_full_30k