ProgramadorArtificial's picture
Add youtube video link
54b58d9
metadata
license: apache-2.0
datasets:
  - mozilla-foundation/common_voice_13_0
  - falabrasil/Audio_Corpora-Bases_de_áudio
  - lucasgris/wav2vec4bp
  - Edresson/TTS-Portuguese-Corpus
  - voxforge/voxforge-pt-dataset
  - programadorartificial/custom_dataset
language:
  - pt
metrics:
  - wer
  - cer
pipeline_tag: automatic-speech-recognition
tags:
  - Wav2Vec2
  - speech-to-text

Wav2Vec 2.0 - Brazilian Portuguese

This model is a fine-tuned of facebook/wav2vec2-large-xlsr-53 model with the following datasets:

All datasets were pre-processed and cleaned (trying to keep only brazilian speakers), not original training, testing and validating files wer not used. The files used to training, testing and validating are in the "dataset_files" folder.

The model was fine-tuned using the ProgramadorArificial/transformers repository, more specific, the speech-recognition folder.

from transformers import AutoModelForCTC, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained('ProgramadorArtificial/wav2vec2-large-xlsr-53-portuguese')
model = AutoModelForCTC.from_pretrained('ProgramadorArtificial/wav2vec2-large-xlsr-53-portuguese')

Video explaining how this model was trained (portuguese): https://youtu.be/ff_NQVUwtx4

Results test and validation dataset

Test

WER CER
11.7% 3.3%
Prediction Real
ele é considerado por seus companheiros de tropa como um oficial moderado ele é considerado por seus companheiros de tropa como um oficial moderado
os empréstimos do banco mundial exigem contrapartidas do governo beneficiados os empréstimos do banco mundial exigem contrapartidas dos governos beneficiados
mwendel queiroz rodrigues wendell queiroz rodrgues
virmontes virmond
conversões pelo dólar turismo a mil seiscentos e oitenta reais conversões pelo dólar turismo a mil seiscentos e oitenta reais
o grupo de moda são paulo promove o seu primeiro encontro o grupo de moda são paulo promove o seu primeiro encontro
abandonou a frança e se fixou em são paulo abandonou a frança e se fixou em são paulo
o avanço da tecnologia fez esta divisão perder o sentido o avanço da tecnologia fez esta divisão perder o sentido
reservadamente confessa não entender o comportamento do presidente reservadamente confessa não entender o comportamento do presidente
foi definido o campeonato estadual que começa no dia trinta foi definido o campeonato estadual que começa no dia trinta

Validation

WER CER
9.5% 2.6%
Prediction Real
pontex gestal pontes gestal
o cruzeiro real continua valendo até o dia quinze de julho o cruzeiro real continua valendo até o dia quinze de julho
o espaço fica portanto vago e disponível para o traficante o espaço fica portanto vago e disponível para o traficante
os botões estão empilhados os botões estão empilhados
as chances que apareciam eram perdidas pelos atacantes cruzeirenses as chances que apareciam eram perdidas pelos atacantes cruzeirenses
possibilitar que a população se sinta identificada com o estado possibilitar que a população se sinta identificada com o estado
os detentos serão transferidos das delegacias que estiverem lotadas os detentos serão transferidos das delegacias que estiverem lotadas
a euforia pela pista menos quente causou três incidentes a euforia pela pista menos quente causou três incidentes
almeida é presidente da liga independente das escolas de samba almeida é presidente da liga independente das escolas de samba
os modos de seu pensamento as cendências de seu espírito e até as menores particularidades de sua vida é nessa fonte que deve beber o poeta brasileiro é dela que há de sair o verdadeiro poema nacional tal como eu o imagino os modos de seu pensamento as tendências de seu espírito e até as menores particularidades de sua vida é nessa fonte que deve beber o poeta brasileiro é dela que há de sair o verdadeiro poema nacional tal como eu o imagino

Autor