PocketTTS-ZH-6L(R21)中文语音克隆模型

中文语音合成(TTS)模型,支持语音克隆与数字/中英混读,CPU 优先设计,权重原生 int8 量化。

基于 Kyutai Pocket TTS 架构:6 层 FlowLM(d_model 1024)+ Mimi 神经音频编解码器(24 kHz),端到端流式推理。本版本(R21)相对上一代的核心变化:

• 原生 int8 交付:FlowLM 注意力与 FFN 权重已离线量化打包,无需运行时转换,体积 223 MB,CPU 速度提升约 1 倍
• 9174 token 词表:官方英文 BPE-4000 基底 + 追加单字汉字/全角标点,byte_fallback 兜底生僻字符
• 内置文本规范化(TN):阿拉伯数字、金额、日期、订单号自动转中文读法(368.5 → 三百六十八点五,16 位订单号逐位读出)
• 中英混读:APP、VIP、5G、WiFi 等英文术语按中文习惯读法

English summary: A Mandarin Chinese TTS model with voice cloning, built on the Pocket TTS architecture (6-layer flow transformer + Mimi codec). Weights ship pre-quantized int8 (223 MB, no runtime conversion needed): 0.18× real-time single-threaded on an i7-12700KF (≈5.5× faster than real-time audio production), 0.16× with 4 threads. Built-in text normalization reads Arabic digits, amounts, dates and order numbers in Mandarin (digit-by-digit for serial numbers). 9174-token SentencePiece vocabulary. Intended for customer-service dialogue and short-form Mandarin speech. See Performance and Limitations below.

快速开始

pip install pocket-tts soundfile wetext
cd <本目录>
python demo.py --prompt your_voice.wav --text "您的订单编号是20260918123456，退款368.5元预计三个工作日内到账。" --out out.wav

• TN 默认开启:数字、金额、日期、订单号自动转中文读法;--no-tn 可关闭
• 模型为预量化 int8 权重(model_int8.pt),加载即用,无需 quantize=True

或有界面演示(需 pip install gradio):

python demo.py --gradio

界面中可看到 TN 规范化后的文本,并可选关闭 TN。

Python API:

import sys
sys.path.insert(0, "<本目录>")
from demo import load  # int8 加载 + TN
from tn import normalize_tn

model = load()
state = model.get_state_for_audio_prompt("your_voice.wav")  # 3~10 秒干净普通话
text = normalize_tn("您的订单编号是20260918123456")  # TN 显式调用(可选,demo.synthesize 默认已含)
audio = model.generate_audio(state, text)

• 参考音频:3~10 秒、干净、单说话人普通话,效果最佳
• 采样温度 temp=0.3(默认);文本越长对参考音频质量越敏感

性能

文本准确性用 whisper-small 对合成音频转写后计算字错误率(CER),每个场景 10 次独立采样取均值,生产配置(单步采样)。数值越低越好。

主指标:客服业务长句(52 字),语音克隆(客服参考音色)

指标	CER (n=10)
客服长句(主指标)	8.1%(上一代 13.65%)
数字订单句(16 位订单号 + 金额)	0%(ASR 逐字核对通过)
中英混读句(APP/VIP/官网)	ASR 全对

分文本长度(客服参考音色,n=10)

文本	CER (n=10)
短句未见(9 字)	17.1%
中句未见(15 字)	6.2%
长句未见(31 字)	6.4%

速度与资源(int8 权重)

测试环境:Intel i7-12700KF,生成 52 字客服长句(约 8.5 秒音频),每档 3 次取均值。

项目	数值
CPU 推理速度(单线程,库默认)	0.18× 实时(生成 1 秒音频约需 0.18 秒)
CPU 推理速度(2 线程)	0.17× 实时
CPU 推理速度(4 线程)	0.16× 实时
权重文件	223 MB(model_int8.pt,FlowLM int8 + Mimi fp32)
FlowLM 参数量	约 89M(注意力 + FFN 已 int8)
采样率	24 kHz

示例音频

参考音频:客服目标音色(kefu_long / digits_order / codeswitch / short_unseen)与 AISHELL-3 说话人 A/B(speakerA_long / speakerB_long,仅用于演示音色克隆,不在交付范围内)。均由交付的 int8 模型 + TN 默认配置生成。

场景	文本	试听
客服长句	您好,非常抱歉给您带来了不好的使用体验,麻烦您先提供一下订单编号,我这边马上帮您查询订单信息和售后政策。
数字订单	您的订单编号是20260918123456,退款368.5元预计三个工作日内到账。
中英混读	请打开APP查看您的VIP会员状态,或者登录官网查询订单详情。
短句	今天天气很好,适合外出散步。
说话人 A	请问您反映的问题我们已经记录下来,稍后会有专员与您联系,请保持电话畅通。
说话人 B	人工智能正在改变我们的生活方式。

输入文本说明

• TN 默认开启(推荐):阿拉伯数字、金额、日期、电话、订单号/运单号/航班号自动转中文口语读法;订单号类编号逐位读出(如 20260918123456 → 二零二六零九一八一二三四五六)
• 关闭 TN(--no-tn)时,请自行使用中文数字写法;词表虽有数字 token,但训练数据全部经过 TN,关闭后数字读法不受控
• 网址(URL)、邮箱等复合符号朗读不稳定,建议预处理或避免
• 纯英文句子不受支持(可能输出静音),中英混读仅限常见术语词汇

局限性与已知问题

• 极短句 + 语音克隆可能不稳定:约 9 字且无标点的文本,在嘈杂/电话信道参考音频下可能输出静音或复述参考音频内容(建议参考此类文本时实测);demo 已内置静音检测自动换 seed 重试
• 未见说话人泛化有限:对全新音色克隆长业务句 CER 明显高于已适应音色,建议参考音频清晰、时长 5 秒以上
• 必须提供参考音频(语音克隆是本模型的设计形态);无参考音频的直接合成质量不可用
• 方言、外语、唱歌不适用;情绪化/高表现力朗读能力有限
• 音色相似度未做定量评测,建议实际试听

伦理与使用限制

• 本模型仅用于已获得合法授权的语音合成。未经声音主体明确同意,禁止克隆其声音
• 禁止用于冒充、欺诈、制造虚假信息或任何违法用途
• 合成内容应明确标识为 AI 生成

文件清单

文件	说明
model_int8.pt	预量化 int8 权重(FlowLM int8 + Mimi fp32),223 MB
config.yaml	模型架构配置(自包含,不含权重路径依赖)
tokenizer.model	SentencePiece 分词器(9174 词,含 byte_fallback)
tn.py	文本规范化(TN)模块,wetext + 业务规则
demo.py	推理演示(int8 加载 + TN,CLI + Gradio)
samples/	示例音频(见上表)
README.md	本文件