tiny-voca-ptbr
tiny-voca-ptbr é um modelo pequeno de texto para fala em português do Brasil, da SemFence, com duas vozes
sintéticas, F_s4 (feminina) e M_sm4 (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de
parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no
navegador (WebGPU ou WASM).
- Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo
- Código: https://github.com/SemFence/tiny-voca-ptbr
- Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica
- Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences
Só pt-BR. Não serve para português de Portugal nem para outras línguas.
| Parâmetros | 4.533.259 |
| Vozes | F_s4 (feminina), M_sm4 (masculina), sintéticas, português do Brasil |
| Saída | 24 kHz, mono |
| Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) |
| Pesos pré-treinados no modelo | Nenhum (treinado do zero) |
| Licença | CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0 |
Criado pela SemFence · pesquisador: Gustavo Toledo. É a receita do tiny-voca (Muhammed Nazeem) aplicada ao português do Brasil.
Arquivos
| Arquivo | Tamanho | Conteúdo |
|---|---|---|
tiny-voca-ptbr.pt |
18,2 MB | Pesos PyTorch, float32, passo 104.000 |
onnx/model.onnx |
21,4 MB | Exportação ONNX, float32, opset 17 |
onnx/model.json |
Símbolos, vozes, taxa de amostragem e limites do modelo | |
samples/ |
Os áudios desta página | |
eval/report.json |
Avaliação completa (WER por clipe e transcrições) | |
LICENSE, NOTICE |
Texto da CC BY 4.0 e o crédito a ser mantido |
SHA256:
tiny-voca-ptbr.pt:ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2onnx/model.onnx:0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b
Exemplos
| Texto | F_s4 | M_sm4 |
|---|---|---|
| Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | ||
| Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | ||
| A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | ||
| Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | ||
| O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | ||
| Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | ||
| Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar. |
Uso
PyTorch
pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr
hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr
python -m tiny_voca.infer \
--checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \
--voice F_s4 \
--text "Olá! Esta é a voz da SemFence." \
--output ola.wav
| Opção | Padrão | O que faz |
|---|---|---|
--text-file |
Lê o texto de um arquivo em vez de --text |
|
--voice |
F_s4 |
F_s4 ou M_sm4 |
--speed |
1,0 | Velocidade da fala |
--pitch-shift |
0 | Somado ao log de F0; 0,058 é cerca de um semitom |
--pitch-range |
1,0 | Aumenta ou diminui a variação de tom em torno da média |
--device |
cpu |
cpu, mps (GPU do Mac) ou cuda |
Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico.
Mac (GPU Apple, Metal/MPS)
python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \
--text "Esta voz roda na GPU do seu Mac." --output mac.wav
No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio.
ONNX
O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as
posições em symbols no onnx/model.json.
import numpy as np
import onnxruntime as ort
import soundfile as sf
from tiny_voca.text import phonemize # dizione-ptbr + a tokenização do modelo
phones = phonemize("Olá! Esta é a voz da SemFence.")
one = lambda value: np.array([value], dtype=np.float32)
session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx")
audio, durations = session.run(None, {
"tokens": np.array([phones.ids], dtype=np.int64),
"stress": np.array([phones.stress], dtype=np.int64),
"voice": np.array([0], dtype=np.int64), # 0 = F_s4, 1 = M_sm4
"speed": one(1.0),
"pitch_shift": one(0.0),
"pitch_range": one(1.0),
})
audio = audio[0]
audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # o modelo pode passar de 1.0
sf.write("ola.wav", audio, 24000)
| Entrada | Tipo | Forma | Significado |
|---|---|---|---|
tokens |
int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim |
stress |
int64 | [1, N] | 0 sem acento, 1 sílaba tônica |
voice |
int64 | [1] | 0 = F_s4, 1 = M_sm4 |
speed |
float32 | [1] | 1,0 como previsto; maior é mais rápido |
pitch_shift |
float32 | [1] | Somado ao log de F0 |
pitch_range |
float32 | [1] | Escala a variação de tom |
| Saída | Tipo | Forma | Significado |
|---|---|---|---|
audio |
float32 | [1, amostras] | Onda a 24 kHz |
durations |
int64 | [1, N] | Duração de cada token em quadros de 256 amostras |
O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases
(tiny_voca.infer.speak_text faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada.
O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no
onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque
cada runtime sorteia o próprio ruído.
Navegador
A demo roda tudo no aparelho de quem usa: o fonemizador em
TypeScript (@semfence/dizione-ptbr) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho.
Modelo
A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom, sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862 parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil.
Dados de treino
Toda a fala de treino é sintética: semfence/ptbr-synthetic-speech
(20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência
também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do
semfence/ptbr-sentences (Common Voice PT, CC0, frases escritas com
Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%).
As durações dos fonemas vêm de alinhamento forçado com facebook/wav2vec2-lv-60-espeak-cv-ft, usado só para rotular os dados.
Treino
104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma visível por volta do passo 30.000.
Avaliação
Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper
large-v3-turbo (CPU, int8, language=pt). WER em frases fora do treino:
| Grupo | Clipes | WER | Clipes sem nenhum erro |
|---|---|---|---|
| Teste do dataset (textos nunca vistos) | 96 | 0,55% | 93,8% |
| Frases novas, em nenhum conjunto | 32 | 0,0% | 100% |
Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset.
O que isso não mostra. São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural.
Velocidade (Apple M4)
| Onde | Tempo | Vezes o tempo real |
|---|---|---|
| PyTorch, CPU | ~95 ms (10,7 s de áudio) | ~113× |
| PyTorch, GPU do Mac (MPS) | ~65 ms (10,7 s de áudio) | ~165× |
| ONNX Runtime, CPU (4 threads) | ~27 ms (4,5 s de áudio) | ~164× |
| Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× |
| Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× |
Limitações
- Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
- Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como
w, "r" final comox. - O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português
("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai
o w). - Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
- Sem fala em fluxo (streaming).
Uso responsável
As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo.
Licença
Pesos (este repositório): CC BY 4.0. Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos fechados, desde que dê o crédito:
tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr
Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio.
Texto da licença em LICENSE; o crédito em NOTICE.
- Código (
SemFence/tiny-voca-ptbr,dizione-ptbr,dizione-ptbr-js): Apache-2.0, com arquivoNOTICE. - Datasets: CC BY 4.0, com crédito obrigatório a SemFence (Gustavo Toledo).
- Léxico do fonemizador: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.
Citação
@software{semfence2026tinyvocaptbr,
author = {{SemFence} and Toledo, Gustavo},
title = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model},
year = {2026},
url = {https://huggingface.co/semfence/tiny-voca-ptbr}
}
Cite também o tiny-voca original.
Agradecimentos
- tiny-voca, de Muhammed Nazeem: a arquitetura e a receita de treino.
- Chatterbox Multilingual (Resemble AI, MIT): gerou a fala de treino.
- Qwen3-TTS e Qwen3-8B (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases.
- Mozilla Common Voice (CC0): frases em português.
- Dicionário de pronúncia do português do Brasil do Montreal Forced Aligner (CC BY 4.0).
facebook/wav2vec2-lv-60-espeak-cv-ft(alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).