tiny-voca-ptbr

tiny-voca-ptbr é um modelo pequeno de texto para fala em português do Brasil, da SemFence, com duas vozes sintéticas, F_s4 (feminina) e M_sm4 (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no navegador (WebGPU ou WASM).

Só pt-BR. Não serve para português de Portugal nem para outras línguas.

Parâmetros 4.533.259
Vozes F_s4 (feminina), M_sm4 (masculina), sintéticas, português do Brasil
Saída 24 kHz, mono
Entrada Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos)
Pesos pré-treinados no modelo Nenhum (treinado do zero)
Licença CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0

Criado pela SemFence · pesquisador: Gustavo Toledo. É a receita do tiny-voca (Muhammed Nazeem) aplicada ao português do Brasil.

Arquivos

Arquivo Tamanho Conteúdo
tiny-voca-ptbr.pt 18,2 MB Pesos PyTorch, float32, passo 104.000
onnx/model.onnx 21,4 MB Exportação ONNX, float32, opset 17
onnx/model.json Símbolos, vozes, taxa de amostragem e limites do modelo
samples/ Os áudios desta página
eval/report.json Avaliação completa (WER por clipe e transcrições)
LICENSE, NOTICE Texto da CC BY 4.0 e o crédito a ser mantido

SHA256:

  • tiny-voca-ptbr.pt: ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2
  • onnx/model.onnx: 0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b

Exemplos

Texto F_s4 M_sm4
Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho.
Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você.
A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias.
Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não!
O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer.
Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra.
Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar.

Uso

PyTorch

pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr
hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr

python -m tiny_voca.infer \
  --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \
  --voice F_s4 \
  --text "Olá! Esta é a voz da SemFence." \
  --output ola.wav
Opção Padrão O que faz
--text-file Lê o texto de um arquivo em vez de --text
--voice F_s4 F_s4 ou M_sm4
--speed 1,0 Velocidade da fala
--pitch-shift 0 Somado ao log de F0; 0,058 é cerca de um semitom
--pitch-range 1,0 Aumenta ou diminui a variação de tom em torno da média
--device cpu cpu, mps (GPU do Mac) ou cuda

Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico.

Mac (GPU Apple, Metal/MPS)

python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \
  --text "Esta voz roda na GPU do seu Mac." --output mac.wav

No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio.

ONNX

O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as posições em symbols no onnx/model.json.

import numpy as np
import onnxruntime as ort
import soundfile as sf
from tiny_voca.text import phonemize   # dizione-ptbr + a tokenização do modelo

phones = phonemize("Olá! Esta é a voz da SemFence.")
one = lambda value: np.array([value], dtype=np.float32)

session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx")
audio, durations = session.run(None, {
    "tokens": np.array([phones.ids], dtype=np.int64),
    "stress": np.array([phones.stress], dtype=np.int64),
    "voice": np.array([0], dtype=np.int64),      # 0 = F_s4, 1 = M_sm4
    "speed": one(1.0),
    "pitch_shift": one(0.0),
    "pitch_range": one(1.0),
})
audio = audio[0]
audio = audio * min(1.0, 0.99 / np.abs(audio).max())    # o modelo pode passar de 1.0
sf.write("ola.wav", audio, 24000)
Entrada Tipo Forma Significado
tokens int64 [1, N] Ids dos fonemas, com os tokens de início e fim
stress int64 [1, N] 0 sem acento, 1 sílaba tônica
voice int64 [1] 0 = F_s4, 1 = M_sm4
speed float32 [1] 1,0 como previsto; maior é mais rápido
pitch_shift float32 [1] Somado ao log de F0
pitch_range float32 [1] Escala a variação de tom
Saída Tipo Forma Significado
audio float32 [1, amostras] Onda a 24 kHz
durations int64 [1, N] Duração de cada token em quadros de 256 amostras

O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases (tiny_voca.infer.speak_text faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada. O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque cada runtime sorteia o próprio ruído.

Navegador

A demo roda tudo no aparelho de quem usa: o fonemizador em TypeScript (@semfence/dizione-ptbr) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho.

Modelo

A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom, sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862 parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil.

Dados de treino

Toda a fala de treino é sintética: semfence/ptbr-synthetic-speech (20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do semfence/ptbr-sentences (Common Voice PT, CC0, frases escritas com Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%). As durações dos fonemas vêm de alinhamento forçado com facebook/wav2vec2-lv-60-espeak-cv-ft, usado só para rotular os dados.

Treino

104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma visível por volta do passo 30.000.

Avaliação

Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper large-v3-turbo (CPU, int8, language=pt). WER em frases fora do treino:

Grupo Clipes WER Clipes sem nenhum erro
Teste do dataset (textos nunca vistos) 96 0,55% 93,8%
Frases novas, em nenhum conjunto 32 0,0% 100%

Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset.

O que isso não mostra. São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural.

Velocidade (Apple M4)

Onde Tempo Vezes o tempo real
PyTorch, CPU ~95 ms (10,7 s de áudio) ~113×
PyTorch, GPU do Mac (MPS) ~65 ms (10,7 s de áudio) ~165×
ONNX Runtime, CPU (4 threads) ~27 ms (4,5 s de áudio) ~164×
Navegador, WebGPU ~0,23 s (14,9 s de áudio) ~65×
Navegador, WASM (CPU) ~1,8 s (14,9 s de áudio) ~8,5×

Limitações

  • Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
  • Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como w, "r" final como x.
  • O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português ("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai o w).
  • Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
  • Sem fala em fluxo (streaming).

Uso responsável

As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo.

Licença

Pesos (este repositório): CC BY 4.0. Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos fechados, desde que dê o crédito:

tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr

Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio. Texto da licença em LICENSE; o crédito em NOTICE.

  • Código (SemFence/tiny-voca-ptbr, dizione-ptbr, dizione-ptbr-js): Apache-2.0, com arquivo NOTICE.
  • Datasets: CC BY 4.0, com crédito obrigatório a SemFence (Gustavo Toledo).
  • Léxico do fonemizador: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.

Citação

@software{semfence2026tinyvocaptbr,
  author = {{SemFence} and Toledo, Gustavo},
  title  = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model},
  year   = {2026},
  url    = {https://huggingface.co/semfence/tiny-voca-ptbr}
}

Cite também o tiny-voca original.

Agradecimentos

  • tiny-voca, de Muhammed Nazeem: a arquitetura e a receita de treino.
  • Chatterbox Multilingual (Resemble AI, MIT): gerou a fala de treino.
  • Qwen3-TTS e Qwen3-8B (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases.
  • Mozilla Common Voice (CC0): frases em português.
  • Dicionário de pronúncia do português do Brasil do Montreal Forced Aligner (CC BY 4.0).
  • facebook/wav2vec2-lv-60-espeak-cv-ft (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Datasets used to train semfence/tiny-voca-ptbr

Space using semfence/tiny-voca-ptbr 1