allex-eef-AB-h16 — arm AB (CogAlign + action-latent)

ALLEX 절대-EEF 50D RLDX-1 mid-train. arm N 에 두 가지가 추가된다:

1. CogAlign (cog loss) — pooled cog 토큰 → state 50D 정렬, weight 0.2 (RLDX_COG_ADAPTER=1, RLDX_COG_ADAPTER_HID=256, RLDX_LATAL_FINGERTIP=0.2, RLDX_LATAL_HEAD=linear, RLDX_LATAL_FINGERTIP_FROM_STATE=1, RLDX_LATAL_FINGERTIP_DIM=50) fingertip 좌표가 없어 state 50D 자체가 정렬 타깃이다.
2. actlat — flow-matching 타깃이 원시 액션이 아니라 frozen action-only 토크나이저의 z (--actlat-mode, --actlat-embodiment-id allex)

⚠️ 이 설정은 환경변수로만 들어가서 conf.yaml 에 남지 않는다. 위 값이 정본이다.

구조

경로	내용
checkpoint-20000/	step 20,000
checkpoint-30000/	step 30,000
checkpoint-40000/	step 40,000 (학습 진행 중, 60k 목표)
tokenizer/	eval 에 필요한 Stage-1 토크나이저 일체

tokenizer/ — AB 추론에 반드시 필요

파일	용도
model.safetensors (37MB)	action-only 토크나이저 가중치 (100k 스텝)
tokenizer_config.json	--actlat-tokenizer-path 가 읽는 설정
norm_stats.json	--actlat-prq-stats-path — 토크나이저 입력 q01/q99
embodiments.runtime.json	embodiment id 매핑 (allex)

토크나이저: allex_eef50_q99_split_w0p03_actiononly_bs512_h16_100k, action_dim 50 / horizon 16 / token_dim 64 / data_config allex_eef_h16. Stage-2 와 동일한 q99 정규화를 쓴다 (bit-identical 확인됨).

from huggingface_hub import snapshot_download
p = snapshot_download("jungwook2358/allex-eef-AB-h16",
                      allow_patterns=["checkpoint-40000/*", "tokenizer/*"])

공통 설정 (두 arm 동일)

• base: RLWRLD/RLDX-1-PT-IMG
• action: 절대 EEF 50D = left_wrist_wrt_base 9 + right_wrist_wrt_base 9
  • left_hand_joints 15 + right_hand_joints 15 + neck_joints 2 (waist 제외, 상대화 없음) 순서는 Stage-1 토크나이저와 Stage-2 RLDX 가 동일하다 (left → right → neck).
• horizon 16, embodiment_tag GENERAL_EMBODIMENT, --override-pretraining-statistics
• 정규화 q99: 2*(x-q01)/(q99-q01)-1 후 clamp(-1,1). 3소스 병합통계(q01=min-of-q01, q99=max-of-q99)
• 글로벌 배치 256 (2 GPU × per-device 128, accum 1), lr 1e-4, 60,000 스텝
• 카메라 2대 (ego left/right), video_length 1, state_dropout 0.3
• VLM 동결: tune_llm=False, tune_visual=False, tune_top_llm_layers=0
• 데이터: robot allex v1v6 / human hmd,umi v1v12 LPF — 비율 0.50 : 0.25 : 0.25

각 checkpoint-*/ 안에 그 체크포인트 고유의 정규화 통계가 들어 있다: experiment_cfg/dataset_statistics.json, processor/statistics.json. 다른 체크포인트의 통계를 갖다 쓰지 말 것.

추론에 쓰이지 않는 학습 상태(global_step*/, optimizer.pt, scheduler.pt, rng_state_*.pth, training_args.bin, zero_to_fp32.py)는 올리지 않았다.

코드

• Stage-2: jungwook235/RLDX-1-egopi branch feat/allex-eef-h16-midtrain
• 스크립트·문서: jungwook235/action-tokenizer gpu26-server/submit/allex_eef_*, docs/allex_eef_midtrain/README.md

⚠️ action_dim 이 48 이 아니라 50 이다. 기존 allex 런(조인트 48D, waist 포함)과 다른 계보이므로 48D 로 로드하면 안 된다.

⚠️ AB 를 추론에 쓰려면 load_merged_prq_action_minmax 가 PRQ_KEYS·min/max 하드코딩이라 allex 50D/q99 용 로더 포팅이 필요하다.