pour_bottle_act — 시약 붓기

OMX "시약 부어줘" 태스크용 ACT 정책 모음. 학습 조건별 모델이 폴더로 나뉘어 있고, 각 폴더 안에 체크포인트 step별 하위 폴더가 있습니다.

데이터

• gamzadole/ARMCHEMIST_POUR_BOTTLE — 30 에피소드 × 10초, 30fps, 9,051 프레임
• 입력/출력: 카메라 3대 (cam_head, cam_head_depth, cam_wrist), state/action 6차원 (왼팔 joint1–5 + gripper)

모델

fps(15/30)와 애매한 에피소드 포함 여부로 4개 조건을 학습했습니다. 체크포인트는 10k마다 전부 올렸습니다.

• 애매한 에피소드: 9 (복귀 오류), 19 (시작할 때 팔이 보임) → *_excl_ambiguous는 제외, *_incl_ambiguous는 포함
• 손목 카메라(cam_wrist)가 대부분 하얗게 포화돼 있습니다(평균 밝기 248, 픽셀 93% 포화). 같은 왼팔 손목 카메라를 쓰는 다른 데이터(시약통 잡기/내려놓기)는 포화 0%입니다. 이 상태 그대로 3캠으로 학습했으므로, 추론 때도 손목 카메라가 같은 노출이어야 학습 조건과 맞습니다.
• 데이터가 작아서(약 9천 프레임) epoch가 매우 많습니다. 10k~40k 체크포인트를 먼저 시험해 보길 권합니다.

폴더	fps	제외 에피소드	학습 데이터	chunk / n_action_steps	epoch	최종 loss
15fps_excl_ambiguous/	15	9, 19	28 ep / 4,232 프레임	40 / 10	189	0.041
15fps_incl_ambiguous/	15	없음	30 ep / 4,533 프레임	40 / 10	176	0.044
30fps_excl_ambiguous/	30	9, 19	28 ep / 8,450 프레임	80 / 20	95	0.043
30fps_incl_ambiguous/	30	없음	30 ep / 9,051 프레임	80 / 20	88	0.043

pour_bottle_act/
├── 15fps_excl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)
├── 15fps_incl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)
├── 30fps_excl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)
├── 30fps_incl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)

각 체크포인트 폴더(예: 15fps_excl_ambiguous/100k/)에는 config.json, model.safetensors, train_config.json이 들어 있습니다.

체크포인트 선택

데이터가 작아서 100k step 동안 데이터를 약 88189번 반복해서 봤습니다(epoch). 과적합됐을 가능성이 크니, 로봇에서는 **10k40k 체크포인트부터** 시험해 보세요. 학습 loss는 검증 loss가 아니라서 loss가 낮은 체크포인트가 실제로 더 잘한다는 보장은 없습니다.

불러오기

이 LeRobot 버전은 repo 안의 하위 폴더를 --policy.path로 바로 지정할 수 없어서, 필요한 폴더만 받아서 로컬 경로로 지정합니다.

hf download gc22-shin/pour_bottle_act --include "15fps_excl_ambiguous/100k/*" --local-dir ckpt/pour_bottle_act
--policy.path=ckpt/pour_bottle_act/15fps_excl_ambiguous/100k

추론 fps를 학습과 맞춰야 합니다. 15fps 모델은 15fps로, 30fps 모델은 30fps로 돌리세요. chunk 길이가 프레임 단위라 fps가 다르면 동작 속도가 달라집니다.

15fps 모델은 원본(30fps)에서 짝수 프레임만 남겨 학습했습니다. 원본 카메라가 실제로는 15Hz라 30fps 영상은 두 프레임마다 같은 영상이 반복되는데, 짝수 프레임만 쓰면 복제 프레임이 없어집니다.

공통 학습 설정

항목	값
정책	ACT (resnet18 ImageNet backbone, dim_model 512, heads 8, enc 4 / dec 1)
VAE	latent 32, kl_weight 10
lr / backbone lr / weight decay	1e-5 / 1e-5 / 1e-4
batch	8, AMP on, seed 1000, temporal ensemble 사용 안 함
chunk	시간 기준으로 맞춤: 2.7초 예측, 0.67초마다 재추론 (15fps: chunk 40 / n_action_steps 10, 30fps: 80 / 20)

LeRobot commit 989f3d0, RTX 3080 1장.

ACT는 학습 loss가 가장 낮은 체크포인트가 실제로 가장 잘하지는 않는 경우가 많으니, 실제 로봇에서 비교해서 고르세요.