np-cr/Cosmos3-Edge-Policy-DROID-FP8

Cosmos3-Edge-Policy-DROID, FP8 (ModelOpt W8A8, per-tensor static)

FP8 checkpoint of nvidia/Cosmos3-Edge-Policy-DROID (revision a7c7288f9b6ac1684e993007b0f9703dd26e58ef, Nemotron dense backbone) in the layout NVIDIA publishes for nvidia/Cosmos3-Nano@fp8. NVIDIA publishes no FP8 build of any Edge checkpoint, so there is no Edge reference to compare with. This one was produced with np-quantizer-v2 (Nota) by the exporter that reproduces NVIDIA's Nano FP8 bit for bit, and checked against NVIDIA's own quantization pipeline run on this model. Sibling of np-cr-test/Cosmos3-Nano-Policy-DROID-FP8.

Scheme

Quantized	336 Linear layers: q/k/v/o attention and up/down MLP projections (the Nemotron MLP has no gate) of both towers in all 28 decoder layers
Weights	FP8 E4M3, one scale per tensor, weight_scale = max(abs(w)) / 448
Activations	FP8 E4M3, one static scale per tensor, input_scale = max(abs(x)) / 448 over 256 transformer calls of the Edge policy pipeline on DROID observations (32 observations x 4 steps x 2 CFG branches)
Kept in BF16	proj_in, proj_out, time_embedder, action_proj_in, action_proj_out, lm_head, the vision encoder, embeddings and norms (NVIDIA's Cosmos3 ignore list)
Format	ModelOpt 0.44 FP8 (quant_method: modelopt, quant_type: FP8_FP8) with NVIDIA's modelopt_config and vLLM-Omni diffusion_step_policy, float8 weight, float32 weight_scale / input_scale, ModelOpt quantizer buffers, transformer/modelopt_state.pth

Verification

Check	Result
NVIDIA's pipeline (ModelOpt 0.44, cookbook config, the same 256 calibration calls, mtq.compress + ModelOpt export) on this model	Equal to this checkpoint in all 336 Linears: FP8 codes (0 of 2,818,572,288 differ), weight_scale, input_scale and the three quantizer buffers
quantization_config, and the two mode configurations of modelopt_state.pth, vs nvidia/Cosmos3-Nano@fp8	Identical (they do not depend on the model)
modelopt_state.pth structure	1023 quantizers over 341 Linears; the enabled ones sit on exactly the 336 FP8 Linears; entry fields as NVIDIA's
Exporter code	The same weight path that reproduces every code and scale of nvidia/Cosmos3-Nano@fp8 from the Nano bf16 release

Two differences from the Nano layout, both deliberate:

• No root modelopt_state.pth. It describes the reasoner graph a Transformers loader builds; Edge's reasoner is a Nemotron dense model with no NVIDIA FP8 layout to follow, and the policy path does not read the file.
• transformer/diffusion_pytorch_model.safetensors.index.json is present although the transformer is one shard: NVIDIA's policy server takes the k_norm_und_for_gen tensors from that index.

How far it is from the BF16 original

Action chunks (32 steps x 7 joint positions + gripper) against the BF16 release on 32 DROID observations at matched inputs and sampling seeds. sigma is the DROID action standard deviation (the same action space as the Nano rows, so the numbers compare across the two models). Intervals resample observations (10,000 bootstrap resamples); the gripper interval is Wilson's.

Comparison	Path	N	overall (sigma) [95% CI]	joint MAE (deg) [95% CI]	worst joint (deg)	bias (sigma) / dims	SNR (dB)	r	gripper agree [95% CI]
FP8 W8A8 checkpoint vs BF16 original	NVIDIA policy server, FP8 GEMM every step, same seeds	32	0.125 [0.100, 0.149]	1.97 [1.55, 2.42]	3.88	0.047 / 1 of 8	17.8	0.9988	95.41% [93.95, 96.53]
Same checkpoint, its step policy (W8A16 on all 4 steps) vs BF16 original	NVIDIA policy server, BF16 activations, same seeds	32	0.069 [0.052, 0.086]	1.09 [0.91, 1.31]	1.68	0.015 / 1 of 8	23.0	0.9996	97.17% [95.96, 98.02]
Fake quant of the checkpoint vs BF16 original	fakequant_loader, diffusers policy pipeline, same seeds	32	0.138 [0.108, 0.166]	2.24 [1.81, 2.71]	3.11	0.019 / 1 of 8	17.3	0.9986	96.88% [95.62, 97.78]

• FP8 W8A8 moves the actions as much as FP8 moves the Nano policy (0.127 sigma there), but changes the gripper state on 47 of 1,024 steps, in 9 observations (observation 17: 14, observation 7: 11, observation 28: 9). These are behavior changes, not threshold ties: in observation 17 the FP8 policy releases the grasp from step 18 while BF16 holds it, in observation 7 it holds a grasp for steps 5-15 that BF16 releases after one step, and in observation 28 the release moves 5 steps earlier. The BF16 gripper output at a flipped step is up to 0.38 from 0.5 (median 0.071); on Nano the same scheme flips 12 steps, all within 0.057 of 0.5.
• The checkpoint's step policy (first 3 and last 3 denoising steps with BF16 activations, which on 4 steps is every step) halves the action error and flips 29 steps: weights alone account for part of the gripper change.
• Speed and memory on 2 x RTX 4090 (NVIDIA policy server, FSDP2 + CFG parallel, 32 observations): BF16 74.7 s, FP8 W8A8 47.3 s (1.58x); peak 6.33 -> 5.08 GiB.

알고리즘 비교 결과 (2026-09-24)

이 저장소는 아래 표의 RTN (전달) 행입니다. 아래 두 build가 HF에 올린 저장소입니다.

표의 build	저장소
RTN (전달)	np-cr-test/Cosmos3-Edge-Policy-DROID-FP8
AWQ + GPTQ	np-cr-test/Cosmos3-Edge-Policy-DROID-FP8-AWQ-GPTQ

결론

• RTN W8A8은 gripper 판정을 흔듭니다. 판정 변화가 148/3072로, 양자화 없이 compile만 했을 때(53)의 2.8배입니다.
• W8A8에서 RTN을 확실히 이기는 알고리즘은 없습니다. 측정상 가장 좋은 W8A8 체크포인트는 AWQ + GPTQ입니다. 판정 변화가 71개로 RTN의 절반 이하이고(RTN 대비 -77 [-156, -12]), 노이즈를 5개로 늘려도 5번 모두 RTN보다 적었습니다. 하지만 같은 방법을 겹치지 않는 다른 32개 호출이나 256개 전체로 다시 만들면 이득이 사라집니다. 게다가 평가가 in-sample입니다. 그래서 이 이득은 AWQ + GPTQ의 성질이 아니라, 이 체크포인트가 데이터를 잘 뽑은 결과로 봅니다. np-cr-test/Cosmos3-Edge-Policy-DROID-FP8-AWQ-GPTQ로 올렸지만, 다른 관측으로 확인하기 전에는 RTN보다 낫다고 볼 수 없습니다.
• 가장 정확한 건 체크포인트 기본 W8A16 step policy입니다. 오차 0.074σ, 판정 변화 69개로 compile 기준값(0.064σ, 53개)에 가깝습니다. 이 설정에서는 가중치가 RTN이든 AWQ + GPTQ든 차이가 없고, 속도와 메모리는 W8A8과 비슷했습니다. W8A16으로 서빙할 수 있으면 이미 올린 두 저장소 모두 이 설정을 권합니다.
• 일부 층 BF16, 여러 알고리즘 조합은 이득이 없습니다. gen up_proj나 0–9층을 BF16으로 두면 오차는 줄지만, W8A16보다 못하고 더 느립니다. AWQ + GPTQ와 합쳐도 효과가 더해지지 않았습니다.
• AQ 결함 세 가지를 찾았습니다. 하나는 고쳤습니다(relu² MLP 선언). 나머지 둘은 AutoRound가 FP8을 튜닝하지 않으면서 build를 바꾸는 문제와, 부분 BF16 export가 ModelOpt 설정에 제외 모듈을 적지 않는 문제로, 기록만 했습니다.

1. 실험 설정

항목	값
양자화 대상	transformer의 Linear 336개 (두 tower × 28 layer × q/k/v/o, up/down). Nemotron MLP에는 gate가 없음
scheme	FP8 E4M3 W8A8, weight per-tensor, activation per-tensor static (Nano와 같은 NVIDIA 형식)
알고리즘 데이터	관측당 transformer 호출 1개씩, 32개
activation calibration	Edge policy pipeline 호출 256개 (관측 32 × denoising 4 step × CFG 2)
평가	NVIDIA 정책 서버, 실제 FP8 커널, 서버 BF16과 같은 노이즈에서 비교. 관측 32개 × 노이즈 3개(seed offset 0, 1, 2) = 96
지표	overall: 정규화 action RMS (DROID σ). 판정 변화: gripper open/closed(0.5 기준)가 BF16과 다른 step 수 (32 step × 96)
통계	관측 단위 bootstrap 10,000회, 한 관측의 노이즈 3개는 함께 뽑음. RTN과 같은 resample로 짝지어 차이 계산

2. 먼저 고친 결함: relu² MLP

AQ의 COSMOS3 모델 정의가 모든 체크포인트의 MLP를 Nano식 gated SiLU(gate_proj 포함)로 선언하고 있었습니다. Edge MLP는 down(relu(up(x))²)이고 gate가 없습니다. 그래서 SmoothQuant·AWQ가 경고 없이 두 가지를 잘못 했습니다. norm→up 그룹은 건너뛰었고, relu²를 통과하는 up→down 스케일 이동을 적용했습니다. relu²는 2차 동차라서 이 이동은 출력을 바꿉니다.

Edge SmoothQuant auto-α (fake quant)	overall σ	판정 변화 / 1024
수정 전 (exit 0, 경고 없음)	3.510	511
수정 후	0.159	24
RTN (참고)	0.138	32

수정(d97e79fde, 미푸시)은 config.hidden_act를 보고 MLP를 선언합니다. gate 없는 tower는 up_proj만 선언하고, down 그룹에 activation_fn="relu2"를 달아 스케일 이동을 막습니다. Nano 선언은 그대로라 이미 전달한 Nano build에는 영향이 없습니다.

3. 결과 (서빙, 노이즈 3개)

3.1 전체 FP8 (NVIDIA 형식 그대로, 336개)

build	FP8 Linear	overall σ [95% CI]	RTN 대비 [95% CI]	판정 변화 / 3072	RTN 대비 [95% CI]
BF16 compile (기준값, 양자화 없음)	0	0.064 [0.052, 0.076]	-0.065 [-0.083, -0.047]	53	-95 [-181, -26]
RTN, W8A16 step policy	336	0.074 [0.063, 0.084]	-0.054 [-0.072, -0.038]	69	-79 [-155, -19]
AWQ + GPTQ, W8A16 step policy	336	0.078 [0.064, 0.091]	-0.051 [-0.061, -0.039]	63	-85 [-163, -20]
AWQ + GPTQ	336	0.118 [0.102, 0.134]	-0.011 [-0.029, +0.006]	71	-77 [-156, -12]
GPTQ	336	0.120 [0.105, 0.135]	-0.008 [-0.024, +0.005]	116	-32 [-76, +3]
SQ auto-α + AutoRound (FP8 코드 = SQ auto-α)	336	0.121 [0.103, 0.137]	-0.008 [-0.024, +0.004]	113	-35 [-76, +1]
GPTQ + 이동평균 observer 0.01	336	0.126 [0.109, 0.141]	-0.003 [-0.016, +0.009]	109	-39 [-95, +8]
AWQ	336	0.126 [0.106, 0.145]	-0.003 [-0.015, +0.010]	104	-44 [-96, -1]
AWQ + GPTQ + 이동평균 observer 0.01	336	0.126 [0.109, 0.142]	-0.002 [-0.018, +0.012]	101	-47 [-116, +15]
RTN (전달)	336	0.129 [0.107, 0.149]	-	148	-
RTN + 이동평균 observer 0.05	336	0.129 [0.109, 0.147]	+0.000 [-0.019, +0.019]	100	-48 [-109, +1]
AutoRound (FP8 코드 = RTN)	336	0.132 [0.111, 0.153]	+0.004 [-0.005, +0.013]	146	-2 [-30, +21]
AutoRound, 조기 종료 없음 (FP8 코드 = RTN)	336	0.132 [0.111, 0.153]	+0.004 [-0.005, +0.013]	146	-2 [-30, +21]
SQ α=0.5	336	0.133 [0.110, 0.155]	+0.005 [-0.006, +0.015]	144	-4 [-45, +31]
SQ auto-α + 이동평균 observer 0.01	336	0.134 [0.113, 0.155]	+0.006 [-0.003, +0.014]	145	-3 [-25, +14]
GPTQ(GPTAQ)	336	0.135 [0.109, 0.161]	+0.007 [-0.006, +0.020]	113	-35 [-105, +30]
RTN + 이동평균 observer 0.01	336	0.140 [0.114, 0.165]	+0.011 [-0.004, +0.028]	147	-1 [-56, +60]
AWQ + GPTQ, 데이터 256개	336	0.142 [0.114, 0.169]	+0.013 [-0.005, +0.036]	126	-22 [-57, +8]
SQ auto-α + GPTQ	336	0.145 [0.121, 0.167]	+0.016 [+0.003, +0.029]	151	+3 [-46, +52]
AWQ + GPTQ(GPTAQ)	336	0.147 [0.111, 0.185]	+0.018 [-0.010, +0.054]	105	-43 [-122, +13]
SQ auto-α	336	0.157 [0.121, 0.194]	+0.029 [+0.006, +0.052]	169	+21 [-18, +77]

3.2 일부를 BF16으로 둔 build (민감도 확인용)

build	FP8 Linear	overall σ [95% CI]	RTN 대비 [95% CI]	판정 변화 / 3072	RTN 대비 [95% CI]
AWQ + GPTQ + gen up_proj BF16, W8A16 step policy	308	0.081 [0.061, 0.104]	-0.048 [-0.070, -0.024]	71	-77 [-154, -17]
RTN, gen up_proj BF16	308	0.093 [0.081, 0.105]	-0.035 [-0.054, -0.017]	95	-53 [-123, +2]
AWQ + GPTQ, 0-9층 BF16	216	0.095 [0.079, 0.111]	-0.033 [-0.057, -0.010]	74	-74 [-157, -6]
RTN, 0–9층 BF16	216	0.098 [0.080, 0.115]	-0.031 [-0.053, -0.010]	72	-76 [-164, -12]
AWQ + GPTQ, gen up_proj BF16	308	0.109 [0.092, 0.124]	-0.020 [-0.033, -0.006]	93	-55 [-119, -7]
RTN, gen down_proj BF16	308	0.122 [0.099, 0.145]	-0.007 [-0.030, +0.013]	111	-37 [-99, +9]
RTN, 10–19층 BF16	216	0.125 [0.102, 0.146]	-0.004 [-0.012, +0.004]	125	-23 [-57, +4]
RTN (전달)	336	0.129 [0.107, 0.149]	-	148	-
RTN, 20–27층 BF16	240	0.129 [0.106, 0.151]	+0.001 [-0.006, +0.007]	134	-14 [-48, +15]
RTN, gen to_add_out BF16	308	0.130 [0.105, 0.154]	+0.001 [-0.009, +0.010]	122	-26 [-68, +8]
RTN, und down_proj BF16	308	0.135 [0.112, 0.158]	+0.006 [-0.002, +0.014]	156	+8 [-18, +36]
RTN, und q/k/v BF16	252	0.136 [0.113, 0.158]	+0.007 [-0.002, +0.016]	140	-8 [-49, +31]
RTN, gen q/k/v BF16	252	0.139 [0.104, 0.177]	+0.010 [-0.009, +0.032]	165	+17 [-28, +76]
RTN, und up_proj BF16	308	0.145 [0.116, 0.175]	+0.016 [+0.003, +0.029]	141	-7 [-48, +31]
RTN, und to_out BF16	308	0.154 [0.119, 0.192]	+0.026 [+0.002, +0.057]	161	+13 [-50, +92]

3.3 추천 전에 한 재현성 확인

AWQ + GPTQ의 이득이 평가 노이즈나 알고리즘 데이터 선택에서 온 것인지 보려고 두 가지를 더 했습니다. 하나는 노이즈를 5개(seed offset 0–4, 관측 32개 × 5 = 160)로 늘린 것이고, 다른 하나는 AWQ + GPTQ를 겹치지 않는 다른 32개 호출(관측마다 다른 step/branch)로 다시 만든 것입니다.

build	overall σ [95% CI]	RTN 대비 [95% CI]	판정 변화 / 5120	RTN 대비 [95% CI]
AWQ + GPTQ, W8A16 step policy	0.075 [0.062, 0.087]	-0.066 [-0.081, -0.050]	78	-167 [-308, -57]
RTN, W8A16 step policy	0.083 [0.068, 0.098]	-0.059 [-0.075, -0.042]	88	-157 [-280, -57]
AWQ + GPTQ, W8A8	0.131 [0.111, 0.151]	-0.011 [-0.024, +0.003]	156	-89 [-172, -22]
RTN, W8A8	0.142 [0.116, 0.166]	-	245	-
AWQ + GPTQ, 다른 32개로 재구성, W8A8	0.150 [0.122, 0.180]	+0.009 [-0.006, +0.024]	230	-15 [-119, +83]

4. 읽는 법

• 흔들림의 크기: Edge는 양자화 없이 compile만 해도 판정이 53개(1.7%) 바뀝니다. Nano는 0개였습니다. 캠페인 gate(판정 변화 ≤ 0.5%)는 Edge BF16 자체의 흔들림보다 엄격해서 Edge에는 쓰지 않았습니다.
• RTN W8A8: 판정 변화 148개로 compile 기준값의 2.8배입니다.
• AWQ + GPTQ: 전체 FP8 build 중 판정 변화가 가장 적습니다(71개, RTN 대비 -77 [-156, -12]). 오차는 RTN과 유의하게 다르지 않습니다(-0.011 [-0.029, +0.006]). 다만 3.3의 재현성 확인에서 다른 알고리즘 데이터로는 이득이 재현되지 않았습니다.
• W8A16 step policy: 체크포인트에 이미 들어 있는 기본 서빙 설정입니다. 오차 0.074σ, 판정 변화 69개로 compile 기준값에 가깝습니다. 속도와 메모리는 W8A8과 비슷했습니다(아래 표).
• BF16 부분 build: gen up_proj(28개)나 0–9층(120개)을 BF16으로 두면 오차가 유의하게 줄어듭니다. relu²는 up 출력의 상대오차를 두 배로 키우기 때문에 이 Linear가 가장 민감하다는 것과 맞습니다. 다만 W8A16 step policy보다 오차가 크고 더 느립니다. AQ exporter가 이렇게 제외한 모듈을 ModelOpt 설정의 ignore에 적지 않는 결함도 있어서, 이 계열은 올리지 않았습니다.
• 가려내지 못하는 것: 비교가 25개가 넘어서, 보정하면 AWQ+GPTQ의 판정 변화 차이도 유의하지 않습니다. 또 fake quant 경로(노이즈 1개)에서는 AWQ+GPTQ 판정 변화가 RTN보다 많았습니다(38 vs 32).

5. 속도와 메모리 (서빙, 관측 32개)

같은 호스트에서 레인 3개가 동시에 돌아서 시간은 흔들립니다. 메모리는 믿을 만합니다.

build	추론 시간 (초)	최대 메모리 (GiB)
BF16	74.7 – 91.3	6.33
RTN W8A8	47.3 – 58.3	5.08
AWQ + GPTQ W8A8	46.9 – 55.2	5.08
RTN W8A16 step policy	46.9 – 52.3	4.84
AWQ + GPTQ W8A16 step policy	45.4 – 46.1	4.84
RTN, gen up_proj BF16	57.8 – 62.3	5.36

6. 제약

• 평가가 in-sample입니다. calibration, 알고리즘 데이터, 평가가 모두 같은 32개 관측에서 나왔습니다.
• AQ는 DIFFUSION 모델에 SVDQuant만 허용합니다. 이 비교는 게이트를 푼 실험 브랜치 cosmos3-algo-sweep(cd9f8a2be, 미푸시)에서 했습니다.
• AutoRound는 기본 조기 종료 때문에 블록당 0.55초 만에 끝나서 RTN과 거의 같았습니다. 조기 종료를 끈 결과는 표의 "AutoRound, 조기 종료 없음"입니다.
• vLLM-Omni는 돌리지 않았습니다.

7. 재현

항목	위치 (/workspace/cosmos3-policy-quant/)
config	fq/configs/edge_algo/, edge_algo2/, edge_algo3/, edge_mp/
실행 스크립트	fq/edge_algo_sweep*_run.sh, fq/edge_mp_scan_*_run.sh, fq/edge_multiseed_*_run.sh
순위표	fq/edge_rank_multiseed.sh → fq/eval/edge_multiseed_served.md, fq/edge_rank.sh → fq/eval/edge_sweep_*.md
평가 하네스	harness/server_fidelity.py (--seed-offset, --compile), multiseed_table.py, sweep_table.py

Use

NVIDIA policy server (FP8 kernels)

The table's served rows ran cosmos-framework's RoboLab action policy server (in process, 2 x RTX 4090, FSDP2 dp_shard_size=2, cfgp_size=2, eager, guardrails off) with checkpoint_path set to this repository and, for W8A8, mixed_precision_first_steps=0, mixed_precision_last_steps=0, mixed_precision_w8a16_cache="none". Two labelled deviations were needed on this framework revision (cd531f728e41):

• Building the Edge network with an FP8 checkpoint runs the backbone's normal_ init on torchao FP8 weights, which torchao does not implement. The run registered aten.normal_ as a no-op for PrototypeFloat8Tensor; the checkpoint's FP8 codes replace those weights right after.
• torchao's FP8 path raises inside torch.inference_mode; generation ran under torch.no_grad.

Fake quantization on any GPU

fakequant_loader.py builds the transformer with dequantized weights and a static FP8 quantize-dequantize on each quantized Linear's input, computed as np-quantizer-v2's FAKE_QUANT evaluation computes it; no ModelOpt or FP8 hardware is needed.

from fakequant_loader import load_fake_quant_transformer

transformer = load_fake_quant_transformer("transformer", device_map={"": "cuda:0"})

Caveats

• 32 observations, and the calibration calls come from the same observations, so the table is in-sample. No Edge BF16 yardstick (eager vs compile, seed spread) was measured.
• The fake-quant row drives the transformer through a diffusers policy pipeline with seed-drawn noise, not through NVIDIA's server; its reference is the BF16 transformer in the same pipeline.
• vLLM-Omni was not run. A runtime that follows the step policy serves W8A16 on 4 steps (second row), not W8A8.
• transformer/serving_manifest.json reads supported: false: np-quantizer-v2's verdict for its own LM/VLM vLLM route, not a statement about vLLM-Omni or NVIDIA's server.

Provenance

Source	nvidia/Cosmos3-Edge-Policy-DROID@a7c7288f9b6ac1684e993007b0f9703dd26e58ef (BF16)
Quantizer	np-quantizer-v2 (integration branch, not yet merged): export at commit 411651222, framework root index rewritten at 068949747; MODELOPT_FP8 in the diffusers layout, RTN weights, MINMAX static activations
ModelOpt state file	nvidia-modelopt 0.44.0
Layout reference	nvidia/Cosmos3-Nano@fp8 (1af44289002ad8afe2567dd85e34fe5dea21e523)

License

A quantized derivative of nvidia/Cosmos3-Edge-Policy-DROID, distributed under the same OpenMDW License 1.1. NVIDIA's BIAS.md, EXPLAINABILITY.md, PRIVACY.md and SAFETY.md are kept; see NVIDIA's model card for intended use and limitations.