geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-K2-sim

Cosmos3-Edge-Policy-DROID — FastWAM-K2 + IsaacSim (v6), step 12000

K=2 leading-K 체크포인트(…-FastWAM-K2/step12000)에서 warm start해 IsaacSim Franka 데이터를 섞어 계속 학습한 arm의 중간 체크포인트입니다. 이 런의 12000 iter 중 100% 지점이며 (K=2 arm의 12,000 iter를 더하면 누적 12000+12,000), 평가용 스냅샷이지 최종 산출물이 아닙니다.

• step별 하위 폴더(step12000/)에 누적. 루트 README는 최근 step을 가리킵니다.
• EMA 가중치 기준 export, training state 없음 — pretrained model 파일만.

⚠️ 서빙 시 필수 인자

python -m cosmos_framework.scripts.action_policy_server_robolab \
    --checkpoint-path "$ckpt" --port 8000 \
    --format-prompt-as-json True --no-guardrails \
    --keep-generated-vision-frames 2        # ← --drop-generated-vision 이 아님

K=2 저장소와 동일한 시퀀스(conditioning 프레임 + 선행 생성 2 latent 프레임, 프레임당 340 토큰, 시퀀스 1,211)입니다.

이 arm이 묻는 것

K=2 arm은 답을 냈습니다: nvidia base에서 K=2로 12k 학습하면 RoboLab 12태스크 34.4% [26.2, 42.6]로 baseline 36.5%와 구분되지 않고(p=0.88) 약 2.4배 빠릅니다. 남은 천장은 base 자체입니다 — 12태스크 중 5개는 full-WAM base에서도 0%(BlocksInBin, CondimentsInBin, SpoonInMug, Stack3RubiksCube, FruitsMoving). leading-K 학습은 능력을 유지할 뿐 더하지 못합니다.

이 arm은 K=2 체크포인트 위에 이 호스트에 있는 유일한 타깃 도메인 데이터(IsaacSim Franka)를 더해 Isaac 렌더링·로봇 도메인 적응이 RoboLab 점수를 움직이는지를 봅니다.

기대치를 정직하게 적습니다. 사용한 sim 풀은 open-cabinet-left / open-cabinet-right / open-drawer 3개 태스크이고 RoboLab 태스크(전부 pick-and-place / stacking)와 겹치지 않습니다. 따라서 이 arm은 도메인 적응을 검증할 수 있지만 태스크를 가르치지는 못합니다. 0% 태스크를 올리려면 RoboLab 도메인의 해당 태스크 시연이 필요합니다.

데이터

풀	비율	rank	내용
DROID	3	0–5	nvidia/Cosmos3-DROID success + failure, 공식 keep_ranges_1_0_1 필터. failure는 video 목적함수에만 기여
sim	1	6–7	nvidia/PhysicalAI-Robotics-Manipulation-SingleArm의 관절 액션 서브셋 3개(Franka Panda, IsaacSim) 4,211 ep / 300,665 프레임을 DROID 스키마로 변환. success만

RankPartitionedDataLoader는 rank 단위로 분할하므로 8 GPU에서 3:1은 DROID 6 rank, sim 2 rank (샘플의 25%)입니다. 3:1을 보수적으로 잡은 이유: sim 로봇의 프레임당 이동량이 DROID 텔레오퍼레이션의 약 6배(0.0386 vs 0.0061 rad)이고 joint[4]가 프레임의 14.8%에서 DROID 정규화 범위 밖입니다. 변환기는 소스의 관절 델타를 절대 목표값으로 적분했습니다.

학습 설정

항목	값
experiment	action_policy_droid_edge_ft_fastwam_v2 + optimizer.lr=1e-5 + K override
K	two_pass_keep_generated_vision_frames=2 (래퍼 hydra override)
시작점	geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-K2 step12000의 EMA 가중치 (load_ema_to_reg), optimizer 새로 시작
two-pass	pass B action FM (action_loss_weight=10), pass A vision FM (loss_scale=1)
optimizer	FusedAdamW, lr 1e-5, 액션 브릿지 3개에 5×
scheduler	LambdaLinear, warm-up 1000, cycle 12000 (lr 1e-5@1k → 8.36e-6@3k → 5.91e-6@6k → 3.45e-6@9k → 1e-6@12k)
배치	FSDP shard 8 × 16 × grad_accum 1 = 128 (K=2 arm은 64)
하드웨어	B300 ×8

평가 주의

• loss 곡선으로 판정하지 마십시오 — 매칭형 목적함수라 곡선이 평탄합니다.
• open-loop MAE는 이 프로젝트에서 세 번 방향을 반대로 가리켰습니다. 판정 기준은 RoboLab입니다.
• 2태스크(RubiksCubesInBin·StackYellowOnRed) 스크리닝은 FastWAM 격차의 회귀 확인용입니다. 이 arm의 가설(도메인 적응)은 그 두 태스크로는 보이지 않으므로 12태스크 전체로 판정하십시오.
• n=96에서 ±9pp는 노이즈입니다. 체크포인트 비교는 적응 샘플링 (--num-episodes-adaptive 200 --ci-pp-width 0.14)으로 하십시오.