NeosQ/Hemmingway-1.5-MTPLX-Q4

Hemmingway-1.5 MTPLX Q4

这是 HemmingwayAI/Hemmingway-1.5 的非官方 MTPLX 4-bit 转换版，使用 MTPLX 2.12.2 Forge 构建。

本仓库只转换原版权重，不包含 Hemmingway-1-Unlocked LoRA，也不是 HemmingwayAI 或 MTPLX 作者发布的官方模型包。

精度与文件

• 模型主体：4-bit、group size 64、affine。
• 原生 MTP 头：保留 BF16，避免量化 MTP 导致接受率下降。
• 总大小：约 15 GiB。
• 包含分词器、聊天模板、MTP 权重和经过验证的 mtplx_runtime.json。
• 转换时已核对实际量化张量，并确认没有混入 LoRA 权重。

在 Apple Silicon Mac 上运行

需要 Apple Silicon、macOS 14 或更新版本，以及 MTPLX 2.12.2：

python3 -m pip install "mtplx==2.12.2"
mtplx pull NeosQ/Hemmingway-1.5-MTPLX-Q4

mtplx run \
  --model NeosQ/Hemmingway-1.5-MTPLX-Q4 \
  --prompt "写一段自然、有生活气息的社区咖啡店开业文案。" \
  --max-tokens 512 \
  --temperature 1.0 \
  --depth 2 \
  --reasoning off

需要思考模式时，删除 --reasoning off，并添加 --reasoning-effort medium。

如需启动本地 API：

mtplx serve \
  --model NeosQ/Hemmingway-1.5-MTPLX-Q4 \
  --download \
  --port 8000 \
  --depth 2 \
  --default-temperature 1.0

构建验证

在 Apple M5 Max、128 GB 统一内存上完成：

• MTPLX Forge 完整加载验证通过，状态为 verified-native。
• 普通 AR：28.46 tokens/s。
• MTP 深度 1：43.19 tokens/s。
• MTP 深度 2：48.07 tokens/s，为本次实测最佳档位，约为 AR 的 1.69 倍。
• MTP 深度 3：45.66 tokens/s。
• 另行完成独立加载和真实文本生成。

这些数字只代表本次硬件和测试条件，不构成其他设备上的速度保证。

许可证与署名

本模型沿用原模型的 CC BY-NC 4.0 许可证：

• 可用于个人、研究和其他非商业用途。
• 商用需要取得原作者另行授权。
• 分享或再发布时请保留 Hemmingway-1.5 / HemmingwayAI 署名和原许可证。
• 原模型基于 Qwen3.8-27B，相应部分仍遵循其原有许可证。

原模型作者及商用授权联系方式见 原模型页面。

Powered by MTPLX。MTPLX 本身使用 Apache-2.0 许可证，模型权重仍遵循上游模型许可证。