close_cap_act — 시약통 뚜껑 닫기

OMX "시약통 뚜껑 닫기" 태스크용 ACT 정책 모음. 학습 조건별 모델이 폴더로 나뉘어 있고, 각 폴더 안에 체크포인트 step별 하위 폴더가 있습니다.

데이터

• gamzadole/ARMCHEMIST_CLOSE_CAP — 49 에피소드 × 15초, 30fps, 21,803 프레임 (028번 1일차, 2948번 2일차 수집)
• 입력/출력: 카메라 4대 (cam_head, cam_head_depth, cam_wrist_left, cam_wrist_right), state/action 12차원 (좌우 팔 각각 joint1–5 + gripper)

모델

두 모델은 fps(와 그에 맞춘 chunk 길이)만 다릅니다. 체크포인트는 10k마다 전부 올렸습니다.

• 제외 에피소드: 27, 28 — left wrist 카메라가 끊겨서 화면이 멈춘 에피소드
• 날짜별 색 차이 보정 (색 증강): 2일차(29번~)에 left wrist 노출이 올라가 1일차보다 밝고 물빠진 색이 됐습니다(평균 밝기 117 → 148). cam_head도 2일차에 약 5% 어둡습니다. 1일차 영상을 2일차 색감으로 옮기는 채널별 LUT(히스토그램 매칭)를 만들고, 학습 중 1일차 프레임에만 매 샘플 강도 α ~ U(0, 0.8)로 섞어 적용했습니다(0 = 원본, 1 = 완전 변환). 2일차 프레임은 그대로입니다. 즉 증강은 1일차와 2일차 색감 사이에서만 일어납니다. 사용한 LUT는 color_aug_close_cap_day1_to_day2.json에 있습니다.
• 추론 시 left wrist 카메라 노출/화이트밸런스를 2일차 설정으로 고정하세요. 증강 범위 밖의 노출에는 대응하지 못합니다.

폴더	fps	제외 에피소드	학습 데이터	chunk / n_action_steps	epoch	최종 loss
15fps/	15	27, 28	47 ep / 10,595 프레임	40 / 10	76	0.036
30fps/	30	27, 28	47 ep / 21,170 프레임	80 / 20	38	0.038

close_cap_act/
├── 15fps/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)
├── 30fps/  (100k, 090k, 080k, 070k, 060k, 050k, 040k, 030k, 020k, 010k)

각 체크포인트 폴더(예: 15fps/100k/)에는 config.json, model.safetensors, train_config.json이 들어 있습니다.

불러오기

이 LeRobot 버전은 repo 안의 하위 폴더를 --policy.path로 바로 지정할 수 없어서, 필요한 폴더만 받아서 로컬 경로로 지정합니다.

hf download gc22-shin/close_cap_act --include "15fps/100k/*" --local-dir ckpt/close_cap_act
--policy.path=ckpt/close_cap_act/15fps/100k

추론 fps를 학습과 맞춰야 합니다. 15fps 모델은 15fps로, 30fps 모델은 30fps로 돌리세요. chunk 길이가 프레임 단위라 fps가 다르면 동작 속도가 달라집니다.

15fps 모델은 원본(30fps)에서 짝수 프레임만 남겨 학습했습니다. 원본 카메라가 실제로는 15Hz라 30fps 영상은 두 프레임마다 같은 영상이 반복되는데, 짝수 프레임만 쓰면 복제 프레임이 없어집니다.

공통 학습 설정

항목	값
정책	ACT (resnet18 ImageNet backbone, dim_model 512, heads 8, enc 4 / dec 1)
VAE	latent 32, kl_weight 10
lr / backbone lr / weight decay	1e-5 / 1e-5 / 1e-4
batch	8, AMP on, seed 1000, temporal ensemble 사용 안 함
chunk	시간 기준으로 맞춤: 2.7초 예측, 0.67초마다 재추론 (15fps: chunk 40 / n_action_steps 10, 30fps: 80 / 20)

LeRobot commit 989f3d0, RTX 3080 1장.

ACT는 학습 loss가 가장 낮은 체크포인트가 실제로 가장 잘하지는 않는 경우가 많으니, 실제 로봇에서 비교해서 고르세요.