GGUF
Chinese
pinyin
input-method
ranking

Suzu-2.1

输入法候选排序小模型。给定上文和同一拼音下的候选词,对候选打分;用于 Rime 等输入法的候选重排。

Suzu-2.1 在 Suzu-2 的权重上续训,结构、词表、文件大小和使用方式都与 Suzu-2 相同,只补充了日常口语、技术和二次元三个领域的语料。可以直接替换 Suzu-2。

  • 架构:gpt2,12 层、512 维、8 头,字符级词表 6000 字,约 40.9M 参数;Q8_0 量化文件约 41.9 MiB。
  • 训练:以 Qwen3.5-4B-Base 为教师蒸馏,语言模型损失加候选排序的 KL。语料为维基百科中文,加上由 Qwen3.5-9B 生成的日常口语、技术、二次元短句(见 NOTICE.md)。
  • 文件:suzu-2.1.q8_0.gguf、suzu-2.1.q8_0.gguf.vocab.txt(一行一个字符,行号即编号:0 填充、1 未知、2 句首)。词表与 Suzu-2 逐字节相同。

输入与输出

输入为句首符、上文最后至多 30 个字、候选的字;输出为各字对数概率之和,越大越优。需推理端自行做字符到编号的映射,不使用 llama.cpp 的分词器。

评测

以下为混合准确率(模型分加词频先验),括号内为同题配对 95% 区间。新留出题与训练语料不重叠,未参与调参和检查点选择。

题集 题数 Suzu-2 Suzu-2.1 差
维基评测 16000 83.6% 84.1% +0.5(±0.3)
技术(新留出) 220 80.0% 94.5% +14.5(±5.2)
二次元(新留出) 193 78.2% 90.7% +12.4(±5.1)
日常口语(新留出) 221 81.4% 95.5% +14.0(±4.9)

维基评测的题集易例与难例各半,不按自然比例加权,所以数字低于 Suzu-2 模型卡里的自然加权口径(92.8%),两者不可直接比较。延迟与内存:桌面 CPU 7 线程,前缀约 11 ms(可后台预解码),候选批约 9.5 ms;Zenfone 10 上 2 线程、6 个候选、含进程间通信,中位约 19 到 20 ms,常驻约 116 MB。与 Suzu-2 无差别。

适用范围与局限

  • 只覆盖简体中文,仅用于候选重排,不做文本生成。
  • 领域题为合成句子,每个题集约 200 题,区间约 ±5 个百分点,只能判断量级。新留出题里后加的一批难词取自训练语料的词表,可能略有利于本模型。
  • 相对在 13.4 万题上续训的中间版本,Suzu-2.1 在新留出题上只多 0.5 到 1.4 个百分点,均在区间内,放量的收益主要是结果更稳。
  • 网络用语:用 428 个有同音竞争词的网络用语测试,词库首位的网络用语在多数上文下被模型压下去的比例,Suzu-2 为 40%,Suzu-2.1 为 24%。模型难以仅凭上文区分该出网络用语还是普通词,实际使用中建议依靠输入法词库的权重决定哪些候选进入重排。
  • Suzu-2.1 是续训,不是从零训练。续训是否已经饱和未验证。
  • 个人化(用自己的输入记录微调)只提供方法,个人语料和个人权重不应进入任何仓库。

许可与署名

权重按 CC BY-SA 4.0 许可。允许使用、修改和商用,但须署名并注明改动。基于它的衍生品(如微调出的新模型)须按相同条款发布。

训练数据包括维基百科中文(CC BY-SA 3.0 与 GFDL)和由 Qwen3.5-9B(Apache-2.0)生成的合成句子,教师为 Qwen3.5-4B-Base(Apache-2.0)。使用时须保留署名,详见 NOTICE.md。

复现

训练与评测代码:Suzu;输入法集成(推理核心与三端接入):suzu-ime;配置与词库包:rime-suzu。

Downloads last month
17
GGUF
Model size
40.9M params
Architecture
gpt2
Hardware compatibility
Log In to add your hardware

8-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for IzumiThe3rd/Suzu-2.1

Quantized
(1)
this model
Quantizations
1 model

Dataset used to train IzumiThe3rd/Suzu-2.1