mongster7/smolvla_dice_50k

SmolVLA — LeKiwi dice pick-and-place (50k steps)

lerobot/smolvla_base를 XLeRobot(LeKiwi) 모바일 매니퓰레이터 시연 데이터로 미세조정한 정책입니다.

Task: Put the red dice in the basket

학습 구성

항목	값
Base checkpoint	lerobot/smolvla_base
Dataset	kms0429/xle_pilot_onearm_dice_front_21ep
Episodes / frames	21 / 26,178 (30 fps)
Robot	lekiwi_client — 9-D state·action (arm 6-DoF + base 3-DoF)
Camera	1× front, 640×480
Steps	50,000 (≈15.3 epochs)
Batch size	8
Trainable params	99.9M / 450M (22%)
Frozen	vision encoder, VLM backbone (train_expert_only=True)
Precision	AMP
Hardware	1× RTX 5070 Laptop (8GB)
Wall-clock	2h 45m

학습 곡선

step	loss
100	1.973
5,000	0.138
15,000	0.067
25,000	0.044
50,000	0.042

Loss는 약 25,000 step에서 수렴했습니다. 같은 규모로 재현하실 경우 25,000 step으로도 충분합니다.

사용법

lerobot-record \
  --robot.type=lekiwi_client \
  --robot.remote_ip=<robot-ip> \
  --policy.path=mongster7/smolvla_dice_50k \
  --dataset.single_task="Put the red dice in the basket"

카메라 키가 observation.images.front인 데이터셋으로 학습했으므로, 추론 시에도 동일한 rename이 필요합니다.

--rename_map='{"observation.images.front": "observation.images.camera1"}'

한계

• 베이스 이동 3-DoF는 smolvla_base의 사전학습 분포(6-DoF 고정 팔)에 포함되지 않아, 21 에피소드만으로 학습되었습니다. 팔 동작 대비 이동 성능이 낮을 수 있습니다.
• 단일 태스크·단일 카메라·단일 환경에서 수집한 pilot 데이터이며, 실기 성공률은 아직 측정하지 않았습니다.
• 15 에포크를 학습해 과적합 가능성이 있습니다. 25,000 step 체크포인트와의 실기 비교를 권장합니다.