VoXtream2-RU — потоковый русский TTS с клонированием голоса

Русский файнтюн VoXtream2 (KTH Royal Institute of Technology) — full-stream zero-shot TTS поверх кодека Mimi (12.5 Гц), с динамическим управлением темпом речи и клонированием голоса по 3–10 секундам записи.

Демо: самодостаточный код Gradio-демо лежит в этом репозитории в папке demo/ — запуск локально описан ниже. Страница модели с примерами синтеза (разные голоса, look-ahead, темп, типы текста) — HF Space.

Статьи о том, как это делалось (разбор VoXtream, подготовка данных, MFA, ошибки): Habr (RU) · Medium (EN).

Автор: Telegram-канал @decent_researcher — там новости о модели и разборы.

Лицензия и условия использования

Модель публикуется в научных и исследовательских целях под лицензией OpenRAIL-M (Responsible AI License — открытая лицензия с ограничениями использования). Базовая модель herimor/voxtream2 распространяется под MIT; её условия сохраняются.

Запрещено использовать модель и производные от неё:

• для любых противоправных действий, обмана, мошенничества, выдачи себя за другое лицо;
• для создания дипфейков и синтеза голоса реальных людей без их явного согласия;
• для дезинформации, домогательств, дискриминации, вреда людям и группам;
• в системах, принимающих юридически значимые решения о людях без надзора человека.

Клонирование голоса допускается только для собственного голоса или с явного разрешения владельца голоса. Полный текст ограничений — в файле LICENSE.

Атрибуция. Код базовой модели — MIT; компонент Depth Transformer (SesameAI CSM) — Apache-2.0 (см. demo/LICENSE-MIT, demo/LICENSE-APACHE, demo/NOTICE). Веса базовой модели обучены на Emilia и HiFiTTS-2 (обе CC BY 4.0) — при использовании и распространении этих весов и производных от них требуется указывать авторов датасетов. Русские данные дообучения — открытые наборы русской речи (~1870 ч после фильтрации).

Метрики (бытовые записи незнакомых дикторов, GigaAM-v3)

	CER	Переключения голоса	Темп (слог/с)	Паузы (медиана)
v10-DPO (эта модель)	~0.01	0–2%	5.1–5.2	0.4–0.5 с

Использование

Модель требует модифицированный пакет voxtream и русский инференс-стек (фонемизатор RUAccent+espeak, вставка sil, проклитики/междометия, RUNorm для цифр) — всё это лежит в папке demo/ этого репозитория (самодостаточна, с GitHub ничего ставить не нужно). Нужна GPU (~4 ГБ VRAM), Python 3.11:

git lfs install && git clone https://huggingface.co/simba9/voxtream2-ru
cd voxtream2-ru/demo
sudo apt install espeak-ng            # см. packages.txt
pip install -r requirements.txt
python app.py --model-dir ..          # Gradio на http://127.0.0.1:7860
# без клона весов: MODEL_REPO=simba9/voxtream2-ru python app.py