π0.5 LoRA — Yahboom X3Plus, "pick red cube"
LoRA fine-tune của π0.5 (pi05_base)
cho tay máy Yahboom X3Plus (5 khớp + gripper, 20 Hz, 2 camera), nhiệm vụ
"pick up the red cube and put it in the bowl".
Huấn luyện
| Mô hình nền | gs://openpi-assets/checkpoints/pi05_base |
| Dữ liệu | 115 episode · 29.130 frame · 24,3 phút · một bối cảnh |
| Bước | 10.000 (≈5,5 epoch) · batch 16 |
| Thời gian | 4 giờ 02 phút trên RTX 5090 (32 GB) |
| Loss | 0,1143 → 0,0050 |
action_horizon |
10 |
discrete_state_input |
True |
| Không gian action | 5 khớp delta + gripper tuyệt đối |
Tham số được cập nhật
| Nhóm | Số lượng | |
|---|---|---|
| LoRA adapter (hạng 16 / 32) | 49.987.584 | train |
| SigLIP vision encoder | 414.803.696 | train đầy đủ |
Projection (action_in/out_proj, time_mlp) |
2.165.792 | train |
| LLM PaliGemma | 2.936.464.384 | đóng băng |
| Tổng train | 466.957.072 (13,72%) |
Giới hạn
- Chưa kiểm chứng trên robot thật. Mọi số liệu ở trên là loss huấn luyện.
- Loss đi ngang từ bước ~4.000. 6.000 bước sau chỉ giảm thêm 36%, trong biên độ nhiễu.
- Một nhiệm vụ, một bối cảnh, một bộ camera. Nhiều khả năng hỏng khi đổi vị trí bát, ánh sáng hoặc nền bàn.
- Camera cổ tay (USB webcam) cho ảnh mờ, nhiều frame gần như trắng khi áp sát mặt bàn.
Nội dung
params/ trọng số (6,0 GB)
train_state/ trạng thái optimizer, để resume training (3,0 GB)
assets/x3plus/pick_red_cube/norm_stats.json thống kê chuẩn hóa — BẮT BUỘC
Dùng như thế nào
huggingface-cli download hoanghieu16720/pi05-x3plus-lora --local-dir ./ckpt
cd openpi
export OPENPI_DATA_HOME=/path/to/openpi_data
.venv/bin/python scripts/serve_policy.py policy:checkpoint \
--policy.config=pi05_x3plus_lora \
--policy.dir=./ckpt
Cần config pi05_x3plus_lora và lớp LeRobotX3PlusDataConfig tương ứng trong openpi
(ánh xạ astra_rgb → base_0_rgb, usb_cam → left_wrist_0_rgb, delta mask (5, -1)).
Robot
yahboom_x3plus · joint1–5 tính bằng radian (URDF x3plus_arm), gripper 0 = mở, 1 = đóng.