Kakaru

/

sovits-whisper-pretrain

like 3

本仓库的预训练模型使用的encoder是whisper-medium，无音量增强

相比vec768l12

优势

• whisper作为一个多语言asr模型，语义还原更为准确（咬字更准）
• whisper提取特征时可以过滤部分特定噪音

劣势

• whisper音色泄漏情况接近hubertsoft，不适合过多说话人的场景
• whisper的总体抗噪能力不如vec768l12
• 对一些非语音部分会产生错误的识别（如吸气声）
• 罕见的对部分音频无法提取特征
• 不支持实时变声

总结下来就是可用，也有突出的优点，但总体是不如vec768l12的
在sovits这个项目里whisper的定位差不多是cnhubert替代，cnhubert在sovits中音色泄漏问题太过严重，追求准确的咬字能力whisper较好一些

十分感谢您的悉心解答！

另外有一个细节想请教一下，音色泄漏问题表现是什么呢？是多说话人会音色趋同吗？如果只炼单说话人，是不是就不需要有音色泄漏的问题

十分感谢您的悉心解答！

另外有一个细节想请教一下，音色泄漏问题表现是什么呢？是多说话人会音色趋同吗？如果只炼单说话人，是不是就不需要有音色泄漏的问题

音色泄漏意思是输出的音频相比目标音色更接近于输入的音色，单说话人可以最大程度上减少音色泄漏造成的影响，但不代表不存在音色泄漏的问题

其他encoder的预训练模型可以看一下https://huggingface.co/ms903