AuK-ru

Русская LoRA-адаптация модели Tencent AuK (инструктивная TTS/аудио-модель: Flux2Edit + Qwen2.5-Omni-3B + BigVGANFlowVAE).

🏷️ AuK-ru v1.0

Текущий канонический релиз: auk_s7_5750.safetensors (полный GATES §1 закрыт: TTS WER 0.077, first_ok 0.812, clone sim best-of-3 0.771, clone WER 0.079, DSP 6/6, «китайский акцент» 0/100, эмоции годен 48.3%). Рекомендуемый inference-рецепт: best-of-3 seeds (7, 123, 999) с reranking по speaker similarity + normalize_rms + limit_peak. auk_s5_4500.safetensors — fallback для максимума нейтрального clone/phonetics. Дорожная карта (S8 neutral recovery → Russian frontend → single-shot reliability → …): ROADMAP.md.

Чейн LoRA-обучения (каждый адаптер слит со своей базой, см. GitHub): s0 (транслитерация) → s1 (русская речь, r32/α64) → s2 (пилот A/B) → s3 → s4 → s5@4500 (канон) → s7@5750 (эмоции).

Семплы — эмоции (s7@5750) — слушать

Пять генераций с эмоциональной инструкцией, референсы — открытые корпусные голоса (не авторов репозитория). Все пять — verdict «годен», overall 9/10 у автосудьи (Gemini):

01_female_happy.wav — женский, радость
02_female_excited.wav — женский, восторг
03_male_sad.wav — мужской, грусть
04_male_angry.wav — мужской, злость
05_male_fearful.wav — мужской, страх

Файлы

файл	этап	описание
auk_s5_4500.safetensors	s5 @4500	каноническая safety-точка (база s4)
auk_s7_5000.safetensors	s7 @5000	эмоции (рано)
auk_s7_5750.safetensors	s7 @5750	эмоции — лучший по судье (48.3% годен)
auk_s7_6750.safetensors	s7 @6750	эмоции (финал, лёгкий откат)
config.yaml	—	конфиг модели/инференса

Полные sha256 — в sha256.json.

GATES §1 — s7@5750 (полный прогон 19.09.2026)

метрика	s5@4500	s7@5750	гейт
TTS WER (GigaAM, mean, 48)	0.081	0.077	≤0.20 ✅
TTS first_ok	0.750	0.812	≥0.70 ✅
clone sim (best-of-3 seeds, 25)	0.763	0.771	≥0.75 ✅
clone WER (mean)	0.055	0.079	≤0.15 ✅
DSP volume/speed/pitch	6/6 PASS	6/6 PASS	✅
«китайский акцент» (clone100, судья)	0/100	0/100	0 ✅
эмо-протокол (60), годен	36.7%	48.3%	—
судья overall: tts / phonetics / clone / tool	6.90/8.06/8.20/8.11	7.06/7.44/7.56/7.74	tts +, clone/phonetics −0.6

Эмоциональный гейт Aniemore на синтетике невалиден (disgust-коллапс; RESD-контроль 99.3%) — эмоции подтверждены автосудьёй и прослушиванием, не классификатором.

Russian frontend (S9)

Письменный русский → произносимый: \ o_speakable("Встреча 21.09.2026 в 14:30")\ → «Встреча дв+адцать п+ервое сентябр+я дв+е т+ысячи дв+адцать шест+ого г+ода в чет+ырнадцать час+ов тр+идцать мин+ут». Конвейер: rutextnorm → tech-prespell (URL/email/версии/аббревиатуры точками) → safe_accentize (ударения + защита от фонетического респеллинга) → опц. транслит. Benchmark: 241 текст × 10 категорий (hard_cases_ru.jsonl); проба на s7@5750: wer_mean 0.319→0.255, date 0.075 / phone 0.111 / money 0.083 / units 0.150. Подробности: S9_FRONTEND.md в GitHub.

Быстрый старт (v1.0)

Единая точка входа (frontend → best-of-3 seeds → composite rerank → нормализация громкости):

\powershell

TTS — числа/даты/телефоны нормализуются автоматически

python local_train\generate_v1.py --text "Встреча 21.09.2026 в 14:30." --out out_tts

клон голоса + эмоция

python local_train\generate_v1.py --text "Привет, как дела?" --ref ref.wav --emotion happy --out out_clone
Скрипт — в GitHub-репозитории; веса uk_s7_5750.safetensors + config.yaml положить в local_train/run_s7/merged/.

Использование

Инференс — как в апстриме AuK, с весами *.safetensors вместо базовых. Скрипты, документация и отчёты раундов: github.com/aga7on/AuK-ru.

Рекомендуемая инференс-стратегия: best-of-3 seeds с выбором по WeSpeaker sim (как в GATES).

Лицензия

MIT (оригинал Tencent, сохранён в LICENSE). Датасеты и аудио-референсы обучения — приватные и в публичные репозитории не включены. Семплы сгенерированы с корпусных (не авторских) референсов.

Поддержать проект 💸

Любая денежная помощь приветствуется — проект обучается на личном железе, а автор мечтает о RTX 6000 (эмоции сами себя дальше не дообучат).

USDT (TRC-20): TYXmYihm39f7Sboj3FCn5WXBPy89Tf6dYa

Обратная связь: Telegram @aga7onia — вопросы, баги, пожелания и отчёты о прослушанных семплах.

Спасибо! Каждая монетка — это ещё несколько часов обучения и пара новых эмоций в модели.

Атрибуция

Оригинальная модель: Tencent-Hunyuan/AuK (MIT).