real_franka_demospeed

실기 Franka air_frier 데이터에 DemoSpeedup (Guo et al., CoRL 2025 — entropy 기반 시연 가속)을 적용해 학습한 GR00T-N1.5 체크포인트입니다. 구조·코드는 TTaekwan/real_franka_basline/air_frier (MoSS GR00T, SAIL − EAG: linear LR, future token 32)와 완전히 같고, 학습 데이터의 시간축만 다릅니다. 그래서 baseline 과 같은 추론 배선으로 그대로 돌아갑니다.

폴더

폴더	step	무엇
air_frier_30k	30,000 (최종)	DemoSpeedup 학습본. 이걸 쓰십시오
air_frier_20k	20,000 (같은 학습의 checkpoint-20000)	중간 지점 비교용
keep_v1-2_kde_zm0p3/	—	학습에 쓴 entropy phase 라벨 (labels.parquet, summary.json). 추론엔 필요 없음
code_human_data_moss.tar.gz	—	학습·추론 코드 (gr00t/ 패키지 + scripts/). baseline 과 같은 MoSS GR00T
train_manifest_mlxp.yaml, slurm_entropy_air_frier.sh	—	학습 잡 · entropy 추출 잡 원본
infer_smoke/	—	릴리스 전 추론 스모크 스크립트와 결과 json

각 폴더: config.json · model-0000{1,2}-of-00002.safetensors · model.safetensors.index.json · experiment_cfg/metadata.json(정규화 통계, 키 new_embodiment) · trainer_state.json · training_args.bin. optimizer 는 없습니다(추론 전용).

어떻게 만들었나

nvidia/GR00T-N1.5-3B ──(원본 air_frier 50 ep, 30k)──▶ base30k  (= real_franka_basline/air_frier)
                                                          │  프레임마다 action chunk 10개 샘플 → KDE entropy
                                                          ▼  HDBSCAN, precision_z −0.3 → phase 0/1 라벨
nvidia/GR00T-N1.5-3B ──(원본 air_frier 50 ep + 라벨, 30k)──▶ air_frier_30k  (이 repo)

• base30k 는 entropy 계산에만 썼습니다. 이 모델의 init 은 pretrained N1.5-3B 입니다.
• 데이터는 downsample 하지 않았습니다. 로더가 학습 샘플마다 action chunk 만 라벨대로 다시 읽습니다: precision(entropy 낮음) 구간은 보폭 1, coarse(entropy 높음) 구간은 보폭 2 → coarse 구간에서 한 프레임씩 건너뛴 target 을 배웁니다. observation 은 12,205 프레임 전부 그대로 anchor 로 들어갑니다(논문의 training-time 방식).
• 라벨 통계: precision 57.0%, 고정 타임라인 기준 압축 x1.256 (에피소드 평균 244 → 194 프레임). 즉 접근·이동 구간은 2배, 집기·놓기 구간은 원속도로 배운 정책입니다.
• 학습 인자는 baseline 과 동일: real_droid_joint · new_embodiment · bs 32×2 GPU(gbs 64) · 30k step · save 10k · torchvision_av(keyframe 버그 수정 판) · 영상 448×252. 최종 loss 0.0074 (baseline 과 같은 수준).

추론 배선

baseline(real_franka_basline/air_frier)과 똑같이 띄우면 됩니다. 라벨·보폭 같은 것을 추론에 넘길 것이 없습니다.

tar xzf code_human_data_moss.tar.gz            # human_data/{gr00t,scripts}
export PYTHONPATH=$PWD/human_data
python human_data/scripts/eval/serve_policy.py \
    --model-path <air_frier_30k 디렉터리 또는 TTaekwan/real_franka_demospeed 의 하위 경로를 받은 곳> \
    --embodiment-tag new_embodiment \
    --data-config real_droid_joint \
    --denoising-steps 4 --port 5555

항목	값
모델 클래스	gr00t.model.gr00t_n1_MoSS.GR00T_N1_MoSS (config.json architectures), prediction_mode: base
policy	gr00t.model.policy.Gr00tPolicy (human_data 판). get_action(obs) → dict
data config	real_droid_joint (gr00t/experiment/data_config.py)
embodiment tag	new_embodiment — 학습 값. experiment_cfg/metadata.json 의 키와 같아야 정규화 통계를 찾습니다
observation (1 프레임)	T 축 없이 넣습니다: video.exterior_image_1_left (H,W,3) uint8 · video.wrist_image_left (H,W,3) uint8 · state.joint_pos_abs (7,) · state.gripper_close (1,) · annotation.human.action.task_description str. get_action 이 스스로 T=1 을 붙입니다. ⚠ (1,H,W,3) 처럼 T 축을 붙여 주면 MoSS transform 의 batched 경로로 들어가 eval 에서 eagle_pixel_values 5차원 오류로 죽습니다 (2026-09-25 확인)
영상 해상도	학습은 448×252 (16:9). transform 이 crop 0.95 → 224×224 resize 하므로 같은 카메라·비율이면 원본 1280×720 도 됩니다
언어	"Open the air fryer basket, put the food from the plate into the basket, and close the basket." (데이터셋 meta/tasks.jsonl)
action 출력	action.joint_pos_abs (16,7) 절대 관절각 · action.gripper_close (16,1) — 정규화 해제된 값
정규화	state·action 모두 min_max (experiment_cfg/metadata.json)
denoising steps	4 (num_inference_timesteps)
제어 주기	데이터와 같은 10 Hz. row 하나 = 제어 주기 하나. 가속은 모델이 이미 target 에 넣어 뒀으므로 클라이언트에서 건너뛰거나 빨리 재생하지 마십시오
replan	baseline 과 같은 값을 쓰십시오 (chunk 16 row 전부 실행 후 재추론, 또는 쓰던 replan step). 비교 실험이면 base·speedup 둘 다 같은 값
DiT 행	[state 1][future 32][action 16], PE 는 줄 전체 (MoSS 규약, real_franka_ATQ README 의 (b))

클라이언트 (gr00t/eval/robot.py):

from gr00t.eval.robot import RobotInferenceClient
client = RobotInferenceClient(host="<서버 IP>", port=5555)
modality = client.get_modality_config()   # 보내야 할 키
action = client.get_action(obs)           # obs -> {"action.joint_pos_abs": (16,7), "action.gripper_close": (16,1)}

기대 효과: 같은 replan 규칙에서 baseline 대비 에피소드 시간 ≈ 1/1.25 (coarse 구간만 2배). 정밀 구간의 성공률은 유지되는 것이 논문의 주장이고, 이 실기 실험이 그것을 확인하는 자리입니다.

추론 스모크 (릴리스 전 확인)

MLXP GPU 컨테이너에서 위 배선 그대로(Gr00tPolicy + real_droid_joint + new_embodiment, denoising 4) air_frier 에피소드 0 의 실제 관측으로 get_action 을 호출했습니다.

frame	action.joint_pos_abs	action.gripper_close	지연(s)	1배속 시연 대비 평균 절대 오차 (rad)
0	(16,7)	(16,1)	0.56 (warm-up)	0.065
5	(16,7)	(16,1)	0.06	0.083
50	(16,7)	(16,1)	0.07	0.052
120	(16,7)	(16,1)	0.07	0.011
200	(16,7)	(16,1)	0.07	0.012
300	(16,7)	(16,1)	0.06	0.043

값은 전부 유한. 에피소드 초반(0~50, 접근 구간 = coarse)의 오차가 정밀 구간(120·200)보다 큰 것은 정상입니다 — 이 모델은 coarse 구간에서 2 프레임 뒤의 target 을 내므로 1배속 시연의 같은 index 와는 당연히 다릅니다. 같은 스모크에서 real_franka_basline/air_frier 를 돌리면 초반 오차가 작아야 하고, 그 차이가 가속입니다. 결과 json: infer_smoke/demospeed_30k_infer.json, 스크립트 infer_smoke/infer_smoke.py.

주의

• 코드는 MoSS 판(code_human_data_moss.tar.gz)을 쓰십시오. GR00T-action-quantization 계열 코드의 torchvision_av 디코더는 keyframe 만 돌려주는 버그가 있습니다(추론 영상은 카메라에서 직접 오므로 무관하지만, 데이터셋으로 검증할 때 걸립니다). MoSS 판 gr00t/utils/video.py md5 3a2861c4.
• Eagle 백본의 동적 모듈이 import 시점에 CUDA 를 요구합니다. GPU 없는 노드에서는 --device cpu 를 줘도 죽습니다.
• transformers==4.51.3, torch 2.7, timm, decord 필요 (학습 컨테이너와 같은 조합).