Qwen3.5-0.8B-Base-4bit(MLX,4 bit)

Qwen/Qwen3.5-0.8B-Base(Alibaba Qwen,Apache License 2.0)的 MLX 4 bit 量化版,由螺壳实验室 Luoke Labs 用 mlx-lm 量化:仿射量化(affine),4 bit,group size 64;权重之外的文件(tokenizer、chat template、config)原样来自上游。模型本身没有训练或微调。

用途:螺壳(luoke)的本地应用用它做轻量打分——螺壳输入法按上下文给候选词重排、预测下一词;由螺壳主控按发布清单下载、逐文件核对哈希后使用。也可以直接用 mlx-lm 加载:

pip install mlx-lm
mlx_lm.generate --model zhixianio/Qwen3.5-0.8B-Base-4bit --prompt "你好"

许可:Apache License 2.0(见 LICENSE,与上游相同)。按 Apache 2.0 §4 说明:本仓库相对上游的改动是权重量化(见上);上游的许可和版权声明原样保留。

文件:model.safetensors(424 MB)、model.safetensors.index.json、config.json(含 quantization 字段)、tokenizer.json、tokenizer_config.json、chat_template.jinja。

Downloads last month
39
Safetensors
Model size
0.8B params
Tensor type
U32
·
BF16
·
F32
·
MLX
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for luokelabs/Qwen3.5-0.8B-Base-4bit

Quantized
(55)
this model