Instructions to use IzumiThe3rd/Suzu-2.1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use IzumiThe3rd/Suzu-2.1 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf IzumiThe3rd/Suzu-2.1:Q8_0 # Run inference directly in the terminal: llama cli -hf IzumiThe3rd/Suzu-2.1:Q8_0
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf IzumiThe3rd/Suzu-2.1:Q8_0 # Run inference directly in the terminal: llama cli -hf IzumiThe3rd/Suzu-2.1:Q8_0
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf IzumiThe3rd/Suzu-2.1:Q8_0 # Run inference directly in the terminal: ./llama-cli -hf IzumiThe3rd/Suzu-2.1:Q8_0
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf IzumiThe3rd/Suzu-2.1:Q8_0 # Run inference directly in the terminal: ./build/bin/llama-cli -hf IzumiThe3rd/Suzu-2.1:Q8_0
Use Docker
docker model run hf.co/IzumiThe3rd/Suzu-2.1:Q8_0
- LM Studio
- Jan
- Ollama
How to use IzumiThe3rd/Suzu-2.1 with Ollama:
ollama run hf.co/IzumiThe3rd/Suzu-2.1:Q8_0
- Unsloth Desktop
- Docker Model Runner
How to use IzumiThe3rd/Suzu-2.1 with Docker Model Runner:
docker model run hf.co/IzumiThe3rd/Suzu-2.1:Q8_0
- Lemonade
How to use IzumiThe3rd/Suzu-2.1 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull IzumiThe3rd/Suzu-2.1:Q8_0
Run and chat with the model
lemonade run user.Suzu-2.1-Q8_0
List all available models
lemonade list
- Atomic Chat
Suzu-2.1
输入法候选排序小模型。给定上文和同一拼音下的候选词,对候选打分;用于 Rime 等输入法的候选重排。
Suzu-2.1 在 Suzu-2 的权重上续训,结构、词表、文件大小和使用方式都与 Suzu-2 相同,只补充了日常口语、技术和二次元三个领域的语料。可以直接替换 Suzu-2。
- 架构:gpt2,12 层、512 维、8 头,字符级词表 6000 字,约 40.9M 参数;Q8_0 量化文件约 41.9 MiB。
- 训练:以 Qwen3.5-4B-Base 为教师蒸馏,语言模型损失加候选排序的 KL。语料为维基百科中文,加上由 Qwen3.5-9B 生成的日常口语、技术、二次元短句(见 NOTICE.md)。
- 文件:
suzu-2.1.q8_0.gguf、suzu-2.1.q8_0.gguf.vocab.txt(一行一个字符,行号即编号:0 填充、1 未知、2 句首)。词表与 Suzu-2 逐字节相同。
输入与输出
输入为句首符、上文最后至多 30 个字、候选的字;输出为各字对数概率之和,越大越优。需推理端自行做字符到编号的映射,不使用 llama.cpp 的分词器。
评测
以下为混合准确率(模型分加词频先验),括号内为同题配对 95% 区间。新留出题与训练语料不重叠,未参与调参和检查点选择。
| 题集 | 题数 | Suzu-2 | Suzu-2.1 | 差 |
|---|---|---|---|---|
| 维基评测 | 16000 | 83.6% | 84.1% | +0.5(±0.3) |
| 技术(新留出) | 220 | 80.0% | 94.5% | +14.5(±5.2) |
| 二次元(新留出) | 193 | 78.2% | 90.7% | +12.4(±5.1) |
| 日常口语(新留出) | 221 | 81.4% | 95.5% | +14.0(±4.9) |
维基评测的题集易例与难例各半,不按自然比例加权,所以数字低于 Suzu-2 模型卡里的自然加权口径(92.8%),两者不可直接比较。延迟与内存:桌面 CPU 7 线程,前缀约 11 ms(可后台预解码),候选批约 9.5 ms;Zenfone 10 上 2 线程、6 个候选、含进程间通信,中位约 19 到 20 ms,常驻约 116 MB。与 Suzu-2 无差别。
适用范围与局限
- 只覆盖简体中文,仅用于候选重排,不做文本生成。
- 领域题为合成句子,每个题集约 200 题,区间约 ±5 个百分点,只能判断量级。新留出题里后加的一批难词取自训练语料的词表,可能略有利于本模型。
- 相对在 13.4 万题上续训的中间版本,Suzu-2.1 在新留出题上只多 0.5 到 1.4 个百分点,均在区间内,放量的收益主要是结果更稳。
- 网络用语:用 428 个有同音竞争词的网络用语测试,词库首位的网络用语在多数上文下被模型压下去的比例,Suzu-2 为 40%,Suzu-2.1 为 24%。模型难以仅凭上文区分该出网络用语还是普通词,实际使用中建议依靠输入法词库的权重决定哪些候选进入重排。
- Suzu-2.1 是续训,不是从零训练。续训是否已经饱和未验证。
- 个人化(用自己的输入记录微调)只提供方法,个人语料和个人权重不应进入任何仓库。
许可与署名
权重按 CC BY-SA 4.0 许可。允许使用、修改和商用,但须署名并注明改动。基于它的衍生品(如微调出的新模型)须按相同条款发布。
训练数据包括维基百科中文(CC BY-SA 3.0 与 GFDL)和由 Qwen3.5-9B(Apache-2.0)生成的合成句子,教师为 Qwen3.5-4B-Base(Apache-2.0)。使用时须保留署名,详见 NOTICE.md。
复现
- Downloads last month
- 17
8-bit