GLM-5.3-Flash-mlx-3bit-e3o8

zai-org/GLM-5.3-Flash-BF16（合計 320B・1 トークン 18B の MoE）の MLX 版。 エキスパートだけを 3bit、ほかの線形層を 8bit にしたもの。手元の評価では、エキスパート 4bit 版と区別がつかなかった。

• サイズ: 134 GiB（143.9GB）。モデルサーバーのメモリは約 135GB（phys_footprint）
• 量子化（affine）:
  • ルーティングされるエキスパート（switch_mlp.{gate,up,down}_proj、42 層 × 3）: 3bit g64
  • 注意機構・共有エキスパート・先頭 3 層の dense MLP・埋め込み・出力層など、ほかの線形層: 8bit g64
  • MoE のルーター（mlp.gate）・画像部分: 量子化しない（bf16）
  • mHC・減衰の配列など: mlx-vlm の判定どおり fp32
  • MTP 層（層 45）: mlx-vlm の変換と同じく含めない

作り方

bf16（643GB）と出力を同時に置けないため、シャードを層ごとに落とし、mlx-vlm 0.7.11 の convert と同じ手順 （sanitize → 型の変換 → quantize_model）を層ごとに当てて保存した。 先頭 5 層だけに縮めたモデルで mlx_vlm.convert の出力と比べ、すべてのテンソル・config・ほかのファイルが一致することを確かめてある。

評価

reasoning_effort: "low"（後述）、温度 0.6・top_p 0.95・top_k 20、各ケース 5 回。mlx-vlm 0.7.11 のモデルサーバーを直接使い、MTP なし。 probe は日本語・英語の短い問答 34 問、道具は呼び出しの場面 20 種を日本語と英語でそれぞれ。

	e4o8（エキスパート 4bit・非公開）	e3o8（このリポジトリ）	e2o8（エキスパート 2bit g128・非公開）
重みの大きさ	181.9GB	143.9GB	96.3GB
モデルサーバーのメモリ	約 170GB	135GB	91GB
probe 正答	100%	100%	90.4%
日本語の道具	100%	100%	95%
英語の道具	100%	100%	99%
同じ句の繰り返しに陥る（probe）	0%	0%	2.9%
生成速度	29.6 tok/s	30.3 tok/s	31.8 tok/s

生成速度は M3 Ultra、温度 0・400 トークン × 3 問の平均。

• エキスパートを 2bit にすると壊れる（読みの誤り、事実の誤り、同じ句の繰り返し）。3bit が実用の下限。
• ビットを下げても生成はほとんど速くならない。MoE では 1 トークンで読むエキスパートが一部だけなので、読む量の差が小さいため。
• 長い会話・画像入力は試していない。

思考の切り替え

チャットテンプレートに思考を切るスイッチは無く、reasoning_effort（low / high / max、既定は max）で深さを選ぶ。 low にすると、ほぼ思考せずに答える（思考欄に短いメモが出ることはある）。 mlx-vlm のサーバーでは、reasoning_effort をリクエストのトップレベルに置く（chat_template_kwargs の中に入れると効かない）。

curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "model": "ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8",
  "messages": [{"role": "user", "content": "こんにちは"}],
  "reasoning_effort": "low"
}'

使い方

pip install -U mlx-vlm
python -m mlx_vlm generate --model ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8 \
    --prompt "日本の都道府県の数を教えてください" --max-tokens 512

元のモデルのライセンス（MIT）に従う。