Instructions to use IzumiThe3rd/Suzu-2.4 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use IzumiThe3rd/Suzu-2.4 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf IzumiThe3rd/Suzu-2.4:Q8_0 # Run inference directly in the terminal: llama cli -hf IzumiThe3rd/Suzu-2.4:Q8_0
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf IzumiThe3rd/Suzu-2.4:Q8_0 # Run inference directly in the terminal: llama cli -hf IzumiThe3rd/Suzu-2.4:Q8_0
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf IzumiThe3rd/Suzu-2.4:Q8_0 # Run inference directly in the terminal: ./llama-cli -hf IzumiThe3rd/Suzu-2.4:Q8_0
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf IzumiThe3rd/Suzu-2.4:Q8_0 # Run inference directly in the terminal: ./build/bin/llama-cli -hf IzumiThe3rd/Suzu-2.4:Q8_0
Use Docker
docker model run hf.co/IzumiThe3rd/Suzu-2.4:Q8_0
- LM Studio
- Jan
- Ollama
How to use IzumiThe3rd/Suzu-2.4 with Ollama:
ollama run hf.co/IzumiThe3rd/Suzu-2.4:Q8_0
- Unsloth Desktop
- Docker Model Runner
How to use IzumiThe3rd/Suzu-2.4 with Docker Model Runner:
docker model run hf.co/IzumiThe3rd/Suzu-2.4:Q8_0
- Lemonade
How to use IzumiThe3rd/Suzu-2.4 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull IzumiThe3rd/Suzu-2.4:Q8_0
Run and chat with the model
lemonade run user.Suzu-2.4-Q8_0
List all available models
lemonade list
- Atomic Chat
Suzu-2.4
输入法候选排序小模型。给定上文和同一拼音下的候选词,对候选打分;用于 Rime 等输入法的候选重排与简拼候选生成。
Suzu-2.4 在 Suzu-2.1 的权重上续训,结构、词表、文件大小和使用方式都与 Suzu-2.1 相同,可以直接替换。新增的训练内容是简拼:两个字母的简拼(如 zm)以及首字全拼加次字首字母(如 jingl)。
- 架构:gpt2,12 层、512 维、8 头,字符级词表 6000 字,约 40.9M 参数;Q8_0 量化文件 43.9 MB(41.9 MiB)。
- 训练:以 Qwen3.5-4B-Base 为教师蒸馏,语言模型损失加候选排序的 KL。在 Suzu-2.1 的训练题之外,加入 6 万道简拼题(两字母简拼占 70%,首字全拼加次字首字母占 30%),与原有题按 1 比 2 混合,训练 3 万步。
- 文件:
suzu-2.4.q8_0.gguf、suzu-2.4.q8_0.gguf.vocab.txt(一行一个字符,行号即编号:0 填充、1 未知、2 句首)。词表与 Suzu-2 和 Suzu-2.1 逐字节相同。 - 校验:
suzu-2.4.q8_0.gguf的 sha256 为a2ff2c46110c7ba47746871eaf8ff37cc4fab58105ddbe11e0a768e340cdb996。
输入与输出
输入为句首符、上文最后至多 30 个字、候选的字;输出为各字对数概率之和,越大越优。需推理端自行做字符到编号的映射,不使用 llama.cpp 的分词器。
评测
简拼
两字母简拼 1300 题,答案为两字词,候选池为词典里首字母相同的全部两字词(平均 492 个),只用模型分排序。括号内为同题配对 95% 区间。
| 模型 | 首选 | 前 5 名 | 首选差 |
|---|---|---|---|
| Suzu-2.1 | 44.6% | 75.9% | |
| Suzu-2.4 | 51.2% | 79.7% | +6.6(+4.7 到 +8.6) |
| 教师 Qwen3.5-4B-Base | 57.6% | 76.7% | +13.0 |
Suzu-2.4 补上了教师与 Suzu-2.1 之间首选差距的约一半。分领域的首选(Suzu-2.1 到 Suzu-2.4):日常 51.4% 到 59.9%,技术 43.5% 到 53.3%,二次元 39.7% 到 41.1%。二次元题只有 433 道,差别在噪声范围内。
在输入法的真实链路里(Rime 候选、候选生成与统一排序,逐键输入,上文干净,见 suzu-ime),首选相对 Suzu-2.1 的变化:
| 输入 | 题数 | Suzu-2.1 | Suzu-2.4 |
|---|---|---|---|
| 两字母简拼 | 407 | 41.8% | 49.4% |
| 混合输入(首字全拼加其余声母) | 291 | 68.7% | 72.5% |
| 全拼 | 216 | 91.7% | 90.7% |
简拼变好 49 题、变差 18 题;混合变好 19 题、变差 8 题;全拼变好 2 题、变差 4 题,差别在抽样误差内。
全拼回归
混合准确率(模型分加词频先验),相对 Suzu-2.1 的配对差与 95% 区间:
| 题集 | 题数 | 差 |
|---|---|---|
| 维基评测 | 16000 | +0.0(±0.3) |
| 技术(旧留出) | 221 | -0.5(±3.2) |
| 二次元(旧留出) | 211 | +1.4(±1.6) |
| 日常(旧留出) | 205 | -0.5(±1.0) |
| 技术(新留出) | 220 | -0.9(±2.2) |
| 二次元(新留出) | 193 | -0.5(±3.1) |
| 日常(新留出) | 221 | +1.4(±2.0) |
全拼没有可检出的退步。延迟与内存:结构和体积与 Suzu-2.1 相同。Mac 上 4 线程、候选生成开启、100 个词的按键仿真,交替各跑两轮,每次按键的 p99 为 Suzu-2.4 22.3 与 23.0 ms,Suzu-2.1 21.3 与 22.2 ms,打分 p99 约 11 到 12 ms,跳过率均为 0。Suzu-2.4 的第一轮出现过一次 52 ms 的按键,第二轮最大值 27.7 ms,属于偶发抖动。
训练波动
用相同数据和配方的第一轮训练(2.4 万道简拼题,2 万步)换两个随机种子重训,简拼首选分别是 49.9% 和 50.5%,波动不到 1 个点。Suzu-2.4 只训练了一个种子。
适用范围与局限
- 只覆盖简体中文,仅用于候选重排与候选生成,不做文本生成。
- 简拼训练只覆盖两个字母的简拼和首字全拼加次字首字母,更长的简拼没有训练也没有评测。
- 评测题来自公开语料与合成句子,答案偏冷门,真实输入多打常用词,实际收益以使用数据为准。
- 同音词的排序在个别上文下会和 Suzu-2.1 不同。例如上文“我最近没有太多”,候选“经历”和“精力”,Suzu-2.1 选“精力”,Suzu-2.4 选“经历”,两者都说得通。逐题的整体差别见上表。
- 在 Suzu-2.1 之上续训,不是从零训练。更多简拼题的边际收益很小:6 万题、3 万步只比 2.4 万题、2 万步多约 1 个点。
- 个人化(用自己的输入记录微调)只提供方法,个人语料和个人权重不应进入任何仓库。
许可与署名
权重按 CC BY-SA 4.0 许可。允许使用、修改和商用,但须署名并注明改动。基于它的衍生品须按相同条款发布。
训练数据包括维基百科中文(CC BY-SA 3.0 与 GFDL)和由 Qwen3.5-9B(Apache-2.0)生成的合成句子,教师为 Qwen3.5-4B-Base(Apache-2.0)。简拼训练题的候选词取自雾凇拼音(rime-ice)的词库,只用词条和权重作为同缩写的候选,模型权重不含词库原文。使用时须保留署名,详见 NOTICE.md。署名示例:Suzu 输入法候选排序模型,作者 IzumiThe3rd,来源 Hugging Face 的 IzumiThe3rd/Suzu-2.4,按 CC BY-SA 4.0 许可。
复现
训练与评测代码:Suzu(简拼训练见 tools/run_r4_abbrev_train.ps1 与 reports/round5/abbrev_training.md);输入法集成:suzu-ime;词库与配置:rime-ice-Custom。
- Downloads last month
- -
8-bit