akisviete/azuolas-whisper-lt-ct2

Ąžuolas — faster-whisper pavidalas

Tai akisviete/azuolas-whisper-lt modelis, paverstas į CTranslate2 pavidalą, kad veiktų su faster-whisper. Svoriai tie patys, float16.

Visas aprašymas, rezultatai ir įspėjimai — pagrindinėje saugykloje: https://huggingface.co/akisviete/azuolas-whisper-lt

from faster_whisper import WhisperModel

m = WhisperModel("akisviete/azuolas-whisper-lt-ct2", device="cuda",
                 compute_type="float16")
segs, _ = m.transcribe("irasas.wav", language="lt", beam_size=5,
                       vad_filter=True, condition_on_previous_text=False)
for s in segs:
    print(f"[{s.start:6.2f} -> {s.end:6.2f}] {s.text}")

Trys dalykai, kuriuos verta žinoti prieš naudojant:

• vad_filter=True yra ne pasirinkimas, o būtinybė. Modelis prigalvoja tekstą per tylą — tylaus šnypštimo įraše prirašo apie 947 simbolius sklandaus lietuviško teksto. Su VAD — 0 simbolių.
• Ilgus įrašus karpykite patys, dalimis iki 22 sekundžių, kirpimo vietas imdami iš Silero VAD — tarpų tarp kalbos sričių viduriuose. Išmatuota su 57 minučių įrašu, kad tai apie 4 punktais geriau nei paieška pagal garso lygį; paaiškinimas pagrindinėje kortelėje.
• Įrašytos 10 alignment_heads porų — oficialus OpenAI rinkinys large-v3 modeliui. Be jų faster-whisper pats pasirenka 320 porų iš paskutinės dekoderio pusės; išmatuota, kad tada nulinės trukmės žodžių padvigubėja (42 → 70).

Modelis rašo mažosiomis raidėmis ir be skyrybos ženklų.

Rezultatai

rinkinys	WER %	WER % be skaitmenų
FLEURS LT (985 įrašai)	9,05	4,68
Common Voice 26.0 LT (5 877 įrašai)	4,60	—

Palyginimai su kitais lietuviškais modeliais, tikro 57 minučių įrašo bandymas ir mokymo aprašymas — pagrindinėje kortelėje.

Licencija ir šaltiniai

Metodas: Fine-tuning Whisper on Low-Resource Languages for Real-World Applications, arXiv:2412.15726 (FHNW / i4Ds).

CC BY 4.0. Mokyta su LIEPA-3 garsynu (Vilniaus universitetas / raštija.lt, CC BY 4.0) openai/whisper-large-v3 pagrindu. Pilnas šaltinių sąrašas — pagrindinėje saugykloje.

Kontaktai

Dėl klausimų ir pasiūlymų rašykite akisviete@gmail.com.