sense-voice-rknn-rk3566
SenseVoice Small 的 RKNN 转换模型,用于 Rockchip RK3566 NPU 推理,配合 sherpa-onnx 使用。
- 来源:官方转换模型
sherpa-onnx-rk3566-20-seconds-sense-voice-zh-en-ja-ko-yue-2024-07-17(asr-models release),原始 ONNX 来自 csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17 - 语言:中 / 英 / 日 / 韩 / 粤
- 固定 20 秒输入窗口:RKNN 不支持动态输入 shape,短音频自动 padding,长音频截断;建议上游接 VAD 切段
用法
sherpa-onnx-offline \
--provider=rknn \
--sense-voice-model=./model.rknn \
--tokens=./tokens.txt \
./test.wav
Rust(sherpa-onnx crate):OfflineSenseVoiceModelConfig.model 指向 model.rknn,OfflineModelConfig.provider = "rknn",use_itn = false。
运行时要求
- librknnrt 2.2.0(
c195366594@2024-09-14)。注意:2.3.x / 2.4.x 与 sherpa-onnx 的 RKNN 模型不兼容会崩溃(见 sherpa-onnx#3154)。下载:rknn-toolkit2 v2.2.0 Failed to select npu core警告在 RK3566 上可忽略(core mask 仅 RK3588 需要)
在 ElectronBotCli 项目中由 ModelManager 的 rknn 路径机制加载,已在 RK3566 (radxa-cm3) 实测通过。
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support