Лицензия и источник записей anton/mari для перепубликации в ncnn
Здравствуйте. Хочу выложить anton/mari, сконвертированные под ncnn, в свой репозиторий моделей на Hugging Face. Подскажите: (1) чьи это записи и есть ли согласие диктора на использование в синтезе, (2) от какого чекпоинта дообучали (lessac или другой), (3) под какой лицензией сами голоса? Спасибо за espeak-правила.
Антон Киреев тут https://huggingface.co/datasets/ESpeech/ESpeech-igm, само использование достаточное сомнительно. Сделайте на его основе любой другой мужской голос за 200-300 эпох, это избавит от проблем.
Мари - это небольшой сет на основе asmr начитки книги с небольшого канала на ютубе, даже не вспомню название.
Стартовали модели с Ирины и Руслана. С английских не пробовал, так как нет достаточных вычислительных ресурсов для экспериментов с большими датасетами. Но думаю, это будет лучшей практикой, если есть данных на 6-8-10 часов речи.
Пайпер довольно быстро переобучается, и я до сих пор не понял, оставляет ли старый контекст какой-то негативный след при обучении на новых данных.
Спасибо, anton/mari брать не буду.
Про след исходного голоса: у меня это измерено. Дообучение готового голоса на чужом чтеце уводит голос к новому чтецу уже за первую эпоху (эстонский диктор с 88 Гц ушёл на 115 за одну эпоху на часе русского), но полностью к нему не приходит — получается «ничей» тембр. Чище выходит от базы _base_model из rhasspy/piper-checkpoints (LibriTTS-R, 904 диктора, CC BY 4.0, без lessac): 100 эпох на часе синтетики дают разборчивый голос без чужого следа.