setup_sensors_act — 센서 넣기

OMX "센서 넣어줘" 태스크용 ACT 정책 모음. 학습 조건별 모델이 폴더로 나뉘어 있고, 각 폴더 안에 체크포인트 step별 하위 폴더가 있습니다.

데이터

• gamzadole/ARMCHEMIST_SETUP_SENSORS — 30 에피소드 × 13초, 30fps, 11,718 프레임
• 입력/출력: 카메라 3대 (cam_head, cam_head_depth, cam_wrist), state/action 6차원 (오른팔 joint1–5 + gripper)

모델

애매한 에피소드 포함 여부만 다른 30fps 모델 두 개입니다. 체크포인트는 10k마다 전부 올렸습니다.

• 애매한 에피소드: 12, 13, 17, 18, 25 (동작이 끊김) → 30fps_excl_ambiguous는 제외, 30fps_incl_ambiguous는 포함

폴더	fps	제외 에피소드	학습 데이터	chunk / n_action_steps	epoch	최종 loss
30fps_excl_ambiguous/	30	12, 13, 17, 18, 25	25 ep / 9,763 프레임	80 / 20	82	0.031
30fps_incl_ambiguous/	30	없음	30 ep / 11,718 프레임	80 / 20	68	0.033

setup_sensors_act/
├── 30fps_excl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)
├── 30fps_incl_ambiguous/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)

각 체크포인트 폴더(예: 30fps_excl_ambiguous/100k/)에는 config.json, model.safetensors, train_config.json이 들어 있습니다.

체크포인트 선택

데이터가 작아서 100k step 동안 데이터를 약 6882번 반복해서 봤습니다(epoch). 과적합됐을 가능성이 크니, 로봇에서는 **10k40k 체크포인트부터** 시험해 보세요. 학습 loss는 검증 loss가 아니라서 loss가 낮은 체크포인트가 실제로 더 잘한다는 보장은 없습니다.

불러오기

이 LeRobot 버전은 repo 안의 하위 폴더를 --policy.path로 바로 지정할 수 없어서, 필요한 폴더만 받아서 로컬 경로로 지정합니다.

hf download gc22-shin/setup_sensors_act --include "30fps_excl_ambiguous/100k/*" --local-dir ckpt/setup_sensors_act
--policy.path=ckpt/setup_sensors_act/30fps_excl_ambiguous/100k

추론 fps를 학습과 맞춰야 합니다. 15fps 모델은 15fps로, 30fps 모델은 30fps로 돌리세요. chunk 길이가 프레임 단위라 fps가 다르면 동작 속도가 달라집니다.

15fps 모델은 원본(30fps)에서 짝수 프레임만 남겨 학습했습니다. 원본 카메라가 실제로는 15Hz라 30fps 영상은 두 프레임마다 같은 영상이 반복되는데, 짝수 프레임만 쓰면 복제 프레임이 없어집니다.

공통 학습 설정

항목	값
정책	ACT (resnet18 ImageNet backbone, dim_model 512, heads 8, enc 4 / dec 1)
VAE	latent 32, kl_weight 10
lr / backbone lr / weight decay	1e-5 / 1e-5 / 1e-4
batch	8, AMP on, seed 1000, temporal ensemble 사용 안 함
chunk	시간 기준으로 맞춤: 2.7초 예측, 0.67초마다 재추론 (15fps: chunk 40 / n_action_steps 10, 30fps: 80 / 20)

LeRobot commit 989f3d0, RTX 3080 1장.

ACT는 학습 loss가 가장 낮은 체크포인트가 실제로 가장 잘하지는 않는 경우가 많으니, 실제 로봇에서 비교해서 고르세요.