gatedyn-calib-frontier — gate-dynamic sparsity calib assets (accuracy_harness)

프론티어 MoE 의 assets/<name>/gatedyn_calib.pt(+ gatedyn_hist.pt, gatedyn_calib_shrink.pt) 배포용 프라이빗 레포. git LFS 미사용 방침 대신 여기로 rsync 를 대체한다.

경로	상태	비고
glm52_fp8/*_linbin.pt	결함 있음 — 참고용(사용 금지)	2026-09-05 1차(lin-bin): down τ 테이블 상수(해상도 결함). λ0=1.8892 measured, wn/c/tok_cnt 유효. sha256 calib 5168184e5857acbc921caab7b8f246406f8edf940b4f26b2f5480bf1b2ec34bf
glm52_fp8/gatedyn_calib.pt · gatedyn_hist.pt · gatedyn_calib_shrink.pt · calib.log	사용 가능 — check PASS (2026-09-05 08:50 UTC, log-bin)	치수 (256,2048,6144,8,78), MoE 377, λ0=1.8892 [measured/sum1/corr 0.880], router_wstd 0.0761, 충실도 cos=1.0, CAL_TOK 600k(wikitext). 테이블 해상도 distinct τ 층중앙값 최소: g/u 161/161, d 123136/161(L3·L4 의 down 입력 27%/7% 가 ≈0 → 그 구간 τ=0, 나머지 층 ~0%). shrink: κ=5000·min_tok=500, raw
qwen35_397b/gatedyn_calib.pt · gatedyn_hist.pt · gatedyn_calib_shrink.pt · calib.log · postproc.log	사용 가능 — check PASS (2026-09-05 09:32 UTC, log-bin, bf16)	치수 (512,1024,4096,10,60), MoE 059, λ0=3.3306 [measured/sum1/corr 0.859], router_wstd 0.0559, 충실도 cos=0.999991, CAL_TOK 1M(wikitext). 모델 성질 주의: (a) null expert 12개(gate/up/down 가중치 전부 0, 그런데 토큰 35k60k 라우팅 — 출력 0 이라 마스킹 무관) (b) calib 데이터에서 미라우팅 expert 97개 → raw 테이블 0(τ=0 keep-all), shrink 자산이 층 pooled 로 채우므로 런타임엔 gatedyn_calib_shrink.pt 권장 (c) wn_d==0 죽은 down 뉴런 평균 17.0%(L0 85%) → down 달성 sparsity 에 무료 구간. raw
minimax_m3/gatedyn_calib.pt · gatedyn_hist.pt · gatedyn_calib_shrink.pt · calib.log	사용 가능 — check PASS (2026-09-05 10:11 UTC, log-bin, bf16)	치수 (128,3072,6144,4,60), MoE 3~59, λ0=0.5661 [measured/sum1/corr 0.926], router_wstd 0.1254, 충실도 cos=0.999994(swigluoai), CAL_TOK 600k(wikitext). 죽은 down 뉴런 0%(SwiGLU-OAI +1 오프셋 → down 무료 구간 없음), τ=0 구간 없음. 미라우팅 expert 52개 → shrink 자산 권장. raw
glm53_flash/gatedyn_calib.pt · calib.log	사용 가능 — check PASS (2026-09-05 10:29 UTC, log-bin, fp8)	브랜치 glm53-flash-swebench 의 구 단일 스크립트(+log-bin 이식)로 생성 → hist/shrink 없음, λ0 는 그 브랜치 규약(legacy 0.1146/std) 1.4186(2026-09-01 자산 1.4203 과 0.1% 차 = 같은 분포 재현, 테이블만 log-bin). 치수 (288,2048,4096,8,45), MoE 3~44, CAL_TOK 600k(wikitext), 해상도 전 테이블 161/161, 죽은 down 뉴런 0%, τ=0 구간 없음. 기존 GLM-5.3 측정과 짝 비교 가능(λ0 동일 규약). sha256 38f348080e62e54f724ab942a64e3dc1d5c28ef1bcfd56322f4c35c01747e1ac (890,047,156B)

받기: hf download WJwon/gatedyn-calib-frontier --include "glm52_fp8/*" --local-dir assets/