Sungah/omx_shoebox_act

OMX 상자 안에 신발 넣기 · ACT 시연자별 비교 (2026-11-03)

같은 작업을 두 사람이 각각 10번씩 시연한 데이터로 ACT를 학습한 모델과 실행 코드입니다.

• 데이터: Yuzriha00/shoebox_a(시연자 a, 10개, 10,787프레임), Yuzriha00/shoebox_b(시연자 b, 10개, 16,086프레임)
• 30 fps, 카메라 top(위쪽)·wrist(손목), state 6(관절 5 + 그리퍼 위치)
• 각 데이터에서 시연 1개(9번)는 val loss 계산용으로 학습에서 뺐습니다. 학습에는 a 9개 / b 9개 / a+b 18개를 썼습니다.

들어 있는 모델

학습이 끝난 모델만 들어 있습니다. 나머지는 학습이 끝나면 추가합니다. ./infer.sh를 인자 없이 실행하면 지금 들어 있는 번호가 나옵니다.

번호	폴더	학습 데이터	입력	step
1–6	act_shoebox_a_<N>step	시연자 a 9개	top + wrist, state 6	600~3600
7–15	act_shoebox_b_<N>step	시연자 b 9개	top + wrist, state 6	600~5400
16–30	act_shoebox_ab_<N>step	a + b 18개	top + wrist, state 6	600~9000
31–36	act_shoebox_a_moge_<N>step	시연자 a 9개	top + top_depth + wrist, state 6	600~3600
37–45	act_shoebox_b_moge_<N>step	시연자 b 9개	top + top_depth + wrist, state 6	600~5400
46–60	act_shoebox_ab_moge_<N>step	a + b 18개	top + top_depth + wrist, state 6	600~9000

• 번호 = ./infer.sh <번호>에 쓰는 값입니다. 각 줄 안에서 600 step 순서입니다(예: 1 = a 600 step, 6 = a 3600 step).
• top_depth는 위쪽 카메라 영상을 MoGe-2 ViT-B(토큰 1200)로 추정한 거리를 0.79~2.65 m 범위의 흑백 영상으로 만든 것입니다(가까울수록 흰색). 실행할 때 실시간으로 만듭니다.
• 실물 성공률: (테스트 후 기록)

val loss

val loss = 학습에 쓰지 않은 시연에서, 모델이 예측한 동작 100스텝이 시연과 얼마나 다른지(L1, 정규화 단위, 낮을수록 시연과 비슷). 실물에서 돌릴 때처럼 계산했습니다(무작위 요소·이미지 증강 없음). 학습 로그의 loss와는 계산이 달라 바로 비교할 수 없습니다.

• a 학습 / b 학습 = 학습에 쓴 시연(a 0번, b 10번) — 비교용
• a val / b val = 학습에서 뺀 시연(a 9번, b 19번)
• 굵은 값 = 그 모델에서 val이 가장 낮은 step (a는 a val, b는 b val, ab는 두 val 평균 기준)

번호	모델	step	a 학습	a val	b 학습	b val
1	a	600	0.145	0.285	1.277	0.913
2	a	1200	0.102	0.282	1.238	0.894
3	a	1800	0.094	0.286	1.254	0.908
4	a	2400	0.091	0.285	1.263	0.916
5	a	3000	0.089	0.286	1.256	0.913
6	a	3600	0.088	0.286	1.258	0.915

학습 정보 (lerobot 0.4.4)

항목	값
시작점	ResNet18 ImageNet 가중치
batch · step	256 (32×8로 나눠 계산) · a 3600 / b 5400 / ab 9000 (모두 데이터 약 95회 반복), 600마다 저장
학습률	cosine 최대 4e-5 (이미지 인코더 1e-5), warmup 100 → 1e-6
chunk	100
기타	이미지 증강(색·선명도·회전 ±5°·이동 ±5%), grad clip 10, 그리퍼 전류 안 씀

학습 데이터·학습 코드

training/ 폴더에 학습 데이터를 만든 코드, 학습 스크립트, val loss 계산 코드가 있습니다. 사용법은 training/README.md를 보세요.

• 원본 2개 → 합치기 → MoGe depth 추가 → val 시연 빼기: bash training/make_datasets.sh
• 학습: bash training/train_act.sh <a|b|ab|a_moge|b_moge|ab_moge>
• val loss: python -I training/tools/val_loss.py ...

실행 방법

이 저장소에 실행 코드(lerobot 0.4.4용)가 같이 들어 있습니다. 번호로 모델을 골라 실행하고, GPU(cuda) 로 실행합니다.

pip install "lerobot[dynamixel]==0.4.4"
# MoGe (31~60번): PyPI에 없어서 GitHub에서 설치
pip install opencv-python-headless scipy trimesh
pip install --no-deps git+https://github.com/EasternJournalist/utils3d.git git+https://github.com/microsoft/MoGe.git

hf download Sungah/omx_shoebox_act --local-dir omx_shoebox_act
cd omx_shoebox_act
chmod +x infer.sh inference.sh   # hf download는 실행 권한을 지움 (안 하면 bash infer.sh 로 실행)
./infer.sh               # 모델 번호 목록
./infer.sh 2             # a 1200 step

• MoGe 모델은 처음 실행할 때 Hugging Face에서 Ruicheng/moge-2-vitb-normal 가중치를 받습니다. 인터넷이 필요합니다.

infer.sh가 자동으로 하는 일

• 로봇 타입을 모델에 맞춥니다.
  • MoGe 모델(depth_info.json이 있음): omx_follower_grip_depth (그리퍼 전류는 넣지 않음)
  • 그 외: omx_follower
• MoGe 모델은 정책이 새로 예측하는 프레임에서만 위쪽 카메라 영상으로 depth를 바로 만들어 넣습니다.
  • ACT는 n_action_steps=50이라 50프레임(약 1.7초)마다 한 번 예측합니다. 그 프레임만 depth 계산 시간(RTX A6000에서 한 장에 약 31~46 ms)만큼 늦어집니다.
  • 예전 방식(백그라운드에서 계속 계산, 2~3프레임 늦음)은 --robot.depth_sync=false로 쓸 수 있습니다.
• 실행 시간은 90초가 기본입니다(시연 길이 a 3142초, b 5057초).

공통 설정

• 포트·카메라는 inference.sh 맨 위 "현장 설정"을 고치거나 환경변수로 넘깁니다.
  • 예: ROBOT_PORT=/dev/ttyACM1 TOP_CAM=/dev/video4 WRIST_CAM=/dev/video6 ./infer.sh 2
• GPU를 바꾸려면: POLICY_DEVICE=cuda:0 DEPTH_DEVICE=cuda:0 ./infer.sh 32
• 학습 때와 같아야 하는 것: fps(30), 위쪽·손목 카메라 위치·각도, 상자·신발 배치
  • depth 범위(0.79~2.65 m)도 카메라가 같은 자리에 있다는 전제입니다.
• 한 스텝 이동량은 --robot.max_relative_target=10으로 제한돼 있습니다.
• 실행마다 짧은 평가 기록이 outputs/eval/ 아래에 저장됩니다(Hub 업로드 안 함).

파일

파일	내용
infer.sh	번호로 모델 골라 실행
inference.sh	lerobot-record 옵션 전체(포트·카메라 설정)
omx_run.py	lerobot-record + 아래 로봇 타입 등록
omx_depth_robot.py	omx_follower_grip_depth: MoGe depth 카메라 추가, 예측 프레임에서만 계산
omx_grip_robot.py	omx_follower_grip (이 저장소 모델은 안 씀, omx_run.py가 등록만 함)
omx_box.py	박스 번호 one-hot (이 저장소 모델은 안 씀, omx_run.py가 BOX가 있을 때만 import)
act_ensemble.py	(선택) ACT k스텝 temporal ensembling
training/	학습 데이터 만들기·학습·val loss 스크립트 (training/README.md)
weights/resnet18-f37072fd.pth	ResNet18 ImageNet 가중치(인터넷 없이 실행할 때)
models/*/omx_info.json	그리퍼 전류 사용 여부(모두 false)
models/*_moge_*/depth_info.json	depth 범위·MoGe 모델 설정