pickdown_bottle1_act — 1번 시약통 내려놓기

OMX "1번 시약통 내려놓기" 태스크용 ACT 정책 모음. 학습 조건별 모델이 폴더로 나뉘어 있고, 각 폴더 안에 체크포인트 step별 하위 폴더가 있습니다.

데이터

• gamzadole/ARMCHEMIST_PICKDOWN_BOTTLE1 — 25 에피소드 × 15초, 30fps, 11,266 프레임
• 입력/출력: 카메라 3대 (cam_head, cam_head_depth, cam_wrist), state/action 6차원 (왼팔 joint1–5 + gripper)

모델

두 모델은 fps(와 그에 맞춘 chunk 길이)만 다릅니다. 데이터가 작아서(24 에피소드) epoch가 많으니 20k~50k를 먼저 시험해 보길 권합니다.

폴더	fps	제외 에피소드	학습 데이터	chunk / n_action_steps	epoch	최종 loss
15fps/	15	23	24 ep / 5,415 프레임	40 / 10	148	0.031
30fps/	30	23	24 ep / 10,815 프레임	80 / 20	74	0.033

pickdown_bottle1_act/
├── 15fps/  (100k, 070k, 050k, 030k, 020k)
├── 30fps/  (100k, 070k, 050k, 030k, 020k)

각 체크포인트 폴더(예: 15fps/100k/)에는 config.json, model.safetensors, train_config.json이 들어 있습니다.

불러오기

이 LeRobot 버전은 repo 안의 하위 폴더를 --policy.path로 바로 지정할 수 없어서, 필요한 폴더만 받아서 로컬 경로로 지정합니다.

hf download gc22-shin/pickdown_bottle1_act --include "15fps/100k/*" --local-dir ckpt/pickdown_bottle1_act
--policy.path=ckpt/pickdown_bottle1_act/15fps/100k

추론 fps를 학습과 맞춰야 합니다. 15fps 모델은 15fps로, 30fps 모델은 30fps로 돌리세요. chunk 길이가 프레임 단위라 fps가 다르면 동작 속도가 달라집니다.

15fps 모델은 원본(30fps)에서 짝수 프레임만 남겨 학습했습니다. 원본 카메라가 실제로는 15Hz라 30fps 영상은 두 프레임마다 같은 영상이 반복되는데, 짝수 프레임만 쓰면 복제 프레임이 없어집니다.

공통 학습 설정

항목	값
정책	ACT (resnet18 ImageNet backbone, dim_model 512, heads 8, enc 4 / dec 1)
VAE	latent 32, kl_weight 10
lr / backbone lr / weight decay	1e-5 / 1e-5 / 1e-4
batch	8, AMP on, seed 1000, temporal ensemble 사용 안 함
chunk	시간 기준으로 맞춤: 2.7초 예측, 0.67초마다 재추론 (15fps: chunk 40 / n_action_steps 10, 30fps: 80 / 20)

LeRobot commit 989f3d0, RTX 3080 1장.

ACT는 학습 loss가 가장 낮은 체크포인트가 실제로 가장 잘하지는 않는 경우가 많으니, 실제 로봇에서 비교해서 고르세요.