avlp12/GLM-5.3-Flash-Alis-MLX-6bit

GLM-5.3-Flash Alis MLX 6-bit — withdrawn / 회수

Do not download or serve these weights. The checkpoint is being rewritten.

이 가중치를 받거나 서빙하지 마세요. 체크포인트를 재작성 중입니다.

English

This repository previously hosted a stock mlx-lm affine 6-bit conversion of zai-org/GLM-5.3-Flash.

That conversion used a broken mixed-bit recipe:

• the MoE router (mlp.gate) was quantized to 8-bit — the router must not be quantized
• KDA GEMMs were skipped — those attention-path GEMMs should stay as 8-bit GEMMs

Decode is stuck around 5.5 tok/s. Do not serve this checkpoint, and do not use a previously downloaded copy.

The weight files have been removed from the Hub. The recipe is being fixed and the checkpoint is being rewritten.

This was a stock affine baseline, not an ALIS or DWQ build.

The same bug affects the 4-bit, 6-bit, and 8-bit repos in this set.

한국어

이 저장소에는 원래 zai-org/GLM-5.3-Flash의 mlx-lm affine 6-bit 변환본이 있었습니다.

그 변환은 잘못된 혼합 비트 레시피를 썼습니다:

• MoE 라우터(mlp.gate)를 8-bit로 양자화했습니다. 라우터는 양자화하면 안 됩니다
• KDA GEMM을 건너뛰었습니다. 어텐션 경로 GEMM은 8-bit로 두어야 합니다

디코드가 약 5.5 tok/s에 고착됩니다. 서빙에 쓰지 마세요. 이미 받아 둔 복사본도 쓰지 마세요.

가중치 파일은 허브에서 제거했습니다. 레시피를 고친 뒤 체크포인트를 재작성 중입니다.

ALIS/DWQ 빌드가 아닙니다. 같은 버그가 이 세트의 4-bit / 6-bit / 8-bit 저장소에 모두 있습니다.

Status

Weight shards	removed
Checkpoint	being rewritten
Source	zai-org/GLM-5.3-Flash