Sungah/omx_1024_boxaug_act

OMX 상자 옮기기 · ACT (상자 바꾸기 데이터 증강 + 그리퍼 전류) 실행 번들

Sungah/omx_1024_test_jihyeok_success의 실제 시연 영상에서 상자 외형만 다른 상자로 바꿔 그린 합성 데이터로 학습한 ACT 모델과, 현장 PC에서 OMX 로봇으로 바로 추론하기 위한 스크립트를 담았습니다. "데이터를 만들어 쓰면 효과가 있는가?"를 확인하는 실험용 모델입니다.

들어 있는 모델

폴더	학습량	step
models/act_boxaug_grip_ep05	5 epoch	88,655 step
models/act_boxaug_grip_ep10	10 epoch	177,310 step
models/act_boxaug_grip_ep15	15 epoch	265,965 step

• lerobot 0.6.1 · ACT · 처음부터 학습(이미지 인코더만 ImageNet ResNet18) · batch 16 · 1 epoch = 17,731 step
• 입력: 카메라 top(위쪽) · wrist(손목) 640×480 + 상태 7개 = 관절 6개 + 그리퍼 전류(Present_Current 원래 값, mA) · 30fps
• 로봇 타입은 ROBOT_TYPE=auto(기본)가 모델을 보고 omx_follower_grip으로 자동으로 맞춥니다. 그리퍼 전류는 omx_grip_robot.py가 매 스텝 읽어 넣습니다.
• 체크포인트가 추가되면 이 저장소에 이어서 올라갑니다.

학습 데이터 (증강)

구분	에피소드	프레임
원본 시연 0~9 (하트 상자 A를 B 위에서 집어 옮기고, B를 그 위에 쌓음)	10	10,787
합성 — 0~9에서 두 상자를 다른 상자로 바꿈 (24가지 조합 × 10)	240	258,888
합성 — 시연 10~14(분홍 점무늬 상자 1개)에서 상자를 A·B·W 등으로 바꿈	20	14,020
합계	270	283,695

• 로봇 동작(action·관절·그리퍼 전류)은 원본 그대로이고, 두 카메라 영상 속 상자의 겉모습만 바뀝니다.
• 상자: 하트 상자 A·B, 분홍 점무늬 상자("love you", 사진·영상 두 가지 무늬), 흰 "FOR YOU" 상자 W(검정 몸통).
• 분홍 점무늬 상자의 실제 시연 5개(10~14)는 학습에서 뺐습니다(테스트용). 다만 같은 동작과 같은 상자 무늬가 합성본으로 학습에 들어 있습니다.
• 실물 로봇 성공률은 아직 측정 전입니다. 체크포인트별로 로봇에서 비교해 보세요.

빠른 시작

hf download Sungah/omx_1024_boxaug_act --local-dir omx_1024_boxaug_act
cd omx_1024_boxaug_act && chmod +x run.sh run_native.sh

A. 설치된 lerobot으로 실행 (Docker 없이)

lerobot(0.6 이상 권장)이 설치된 환경을 켠 뒤:

./run_native.sh check          # 버전 확인, 모델 로딩 확인, 캘리브레이션 목록
./run_native.sh find-port      # → config.env 의 ROBOT_PORT
./run_native.sh find-cameras   # → config.env 의 FRONT_CAM(위쪽), WRIST_CAM(손목)
./run_native.sh calibrate      # 캘리브레이션이 없을 때만
./run_native.sh rollout

B. Docker로 실행

./run.sh build      # 최초 1회 (CPU용 이미지)
./run.sh find-port
./run.sh find-cameras
./run.sh calibrate  # 최초 1회
./run.sh rollout

실행할 때 robot: omx_follower_grip이 출력되면 그리퍼 전류 모델로 실행되는 것입니다.

체크포인트 바꾸기

config.env의 MODEL만 바꾸면 됩니다 (기본: models/act_boxaug_grip_ep15).

MODEL="${MODEL:-models/act_boxaug_grip_ep10}"

파일을 고치지 않고 실행할 때만 바꿀 수도 있습니다.

MODEL=models/act_boxaug_grip_ep05 ./run_native.sh rollout

설정 (config.env)

항목	기본값	설명
MODEL	가장 많이 학습한 체크포인트	위 표의 폴더. 실행할 때 MODEL=...을 앞에 붙이면 그 값이 우선
ROBOT_TYPE	auto	모델 입력 크기로 자동 선택 (이 저장소 모델은 7 → omx_follower_grip)
ROBOT_PORT	/dev/ttyACM0	find-port 결과
FRONT_CAM / WRIST_CAM	/dev/video0 / /dev/video2	find-cameras 결과 (사진으로 위쪽·손목 구분)
FRONT_CAM_NAME / WRIST_CAM_NAME	top / wrist	모델 입력 이름. 바꾸지 마세요
FPS	30	학습 데이터와 같아야 함
N_ACTION_STEPS	50	한 번 예측 후 실행할 스텝 수
ENSEMBLE_K / ENSEMBLE_M	비움 / 0.01	k스텝마다 예측해 겹치는 예측을 평균 (부드럽지만 반응이 느림, GPU 권장)
MAX_RELATIVE_TARGET	10	한 스텝 최대 이동량 (안전장치). 너무 느리면 키우거나 비움
DURATION	30	1회 실행 시간(초). 끝나면 시작 자세로 돌아감
DEVICE	cpu	NVIDIA GPU가 있으면 cuda

실행 속도: CPU 8코어에서 예측 1회 약 0.6~1.0초 → CPU는 N_ACTION_STEPS=50 권장. GPU면 N_ACTION_STEPS=10 정도까지 줄이면 반응이 빨라집니다.

현장 체크리스트

1. 카메라 위치·각도, 조명, 상자·Pinky 위치를 녹화 때와 최대한 비슷하게
2. 처음에는 MAX_RELATIVE_TARGET=10으로 시작하고, 로봇 옆에서 전원을 바로 끌 수 있게 준비
3. 상자 종류(하트 A·B, 분홍 점무늬, 흰 W)별로, 체크포인트마다 같은 배치에서 10회씩 실행해 성공률 기록

파일

파일	역할
run.sh / run_native.sh	Docker / 설치된 lerobot 실행 스크립트
config.env	실행 설정
omx_rollout.py	lerobot-rollout 실행기 (+ 선택: k스텝 앙상블)
act_ensemble.py	k스텝 temporal ensembling
omx_grip_robot.py	그리퍼 전류 로봇 타입 omx_follower_grip (이 저장소 모델 전부가 사용, 자동 선택)
fix_model_config.py	lerobot 0.4~0.5에서 모델 설정 호환 처리
weights/	ResNet18 가중치 (인터넷 없이 실행)
Dockerfile	실행용 이미지 (lerobot 0.6.1, CPU torch)