pe4enov/GPT-SoVITS-Russian

Русско-китайская модель, обученная методом тонкой настройки на базе GPT-SoVITS

Данная модель была создана на основе GPT-SoVITS путем тонкой настройки (fine-tuning) базовой модели на датасете, состоящем из 288 часов русской речи и 10 часов китайской речи.

Модель GPT обучалась в течение 50 эпох, модель SoVITS — 12 эпох. После простого ручного прослушивания было выявлено, что лучшая комбинация (для пар: русский->русский, китайский->китайский, китайский->русский) достигается на 20-й эпохе для GPT и 10-й эпохе для SoVITS (примечание: комбинация русский->китайский работает некорректно, выдает пустой звук).

Описание файлов

• s2Gv2ProPlus-rus.pth: результат тонкой настройки GPT_SoVITS/pretrained_models/v2Pro/s2Gv2ProPlus.pth. Поместите в папку GPT_SoVITS/pretrained_models/v2Pro/.
• s1v3-ru.ckpt: результат тонкой настройки GPT_SoVITS/pretrained_models/s1v3.ckpt. Поместите в папку GPT_SoVITS/pretrained_models/. (Не забудьте глобально заменить пути к двум исходным базовым моделям в коде на новые пути).
• ru-base_e10_s123570.pth: поместите в папку GPT_weights_v2ProPlus.
• ru-base-e20.ckpt: поместите в папку SoVITS_weights_v2ProPlus.

Скрипт для тонкой настройки:

(В коде выполняется перенос слоя эмбеддинга GPT-модели с добавлением двух новых токенов и аналогичная операция для SoVITS, увеличивающая размер словаря на 21 символ для поддержки русского языка).

Инструкция по использованию

1. Подготовьте код фронтенда для обработки текста: (Используется библиотека epitran для конвертации русского текста в фонемы (g2p), очистки символов и обработки специфических для русского языка фонем). Список используемых русских фонем: rus_symbols={'RA', 'RB', 'RD', 'RE', 'RF', 'RG', 'RI', 'RJ', 'RK', 'RL', 'RM', 'RN', 'RO', 'RP', 'RR', 'RS', 'RT', 'RU', 'RV', 'RX', 'RZ'}
2. Измените параметр phoneme_vocab_size = 753 в файле GPT_SoVITS/configs/s1longer-v2.yaml.

Если вам нужны другие контрольные точки (checkpoint) моделей, исходный код или подробности этапов обучения, пожалуйста, свяжитесь со мной по электронной почте: 1208244109@qq.com

Лицензия MIT