File size: 2,755 Bytes
7e29a24 78a743d 7e29a24 f66a923 7e29a24 5ebd9b1 7e29a24 f66a923 7e29a24 5ebd9b1 78a743d 7e29a24 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
# XTTSv2 Banana finetune - Russian informal speech
Разговорный файнтюн XTTSv2 для русского языка. Основан на 9 минутах голосовых сообщениях с матом от 5 разных девушек.
Видео сравнение с оригиналом: https://www.youtube.com/watch?v=hPS7dtJn00s
## Особенности
- добавляет больше интонаций, эмоциональности, придыханий, делая речь более живой.
- лучше справляется с ударениями в словах (мат, разговорная лексика).
- только для русского языка. В английском на коротких фразах типа Yes./No./Well. появились звуковые галлюцинации, на длинных почти не заметно. На русском все ок.
- основан на женских голосах, поэтому все мужские голоса будут слегка феминными.
- весит 5 GB, но VRAM занимает ровно столько же, сколько и оригинал (2.6 GB).
- обучение на 9 минутах голосовых сообщений заняло 70 минут и 10 эпох на 3060 12 GB, дальше была только потеря качества (loss). Чем больше датасет, тем больше требуется VRAM и времени.
- для дальнейшего улучшения качества ударений требуется еще больший датасет с проблемными словами и ручная проверка распознанного Виспером текста.
## Использование
- у вас должен быть установлен [Couqi TTS](https://github.com/coqui-ai/TTS/tree/dev#installation) либо [xtts_api_server](https://github.com/daswer123/xtts-api-server?tab=readme-ov-file#installation)
- скачать все файлы сохраняя структуру папок (/model_banana/v2.0.2/...)
- для xtts_api_server: в папке на одну выше, чем /model_banana запустить cmd: python -m xtts_api_server -d=cuda -mf model_banana
- Инструкция как дообучить xtts для своего голоса: https://docs.coqui.ai/en/latest/models/xtts.html#training (нужно 16-20 GB VRAM, но shared vram тоже подойдет, просто будет чуть медленнее)
Мой русский неформальный голосовой помощник: https://github.com/Mozer/talk-llama-fast
ТГ: https://t.me/tensorbanana |