Package: malayalam-asr-benchmarking
malayalam_asr_benchmarkingObjective of the projectNoteA study to benchmark ASRs in Malayalam. Till now the project has
benchmark based on Malayalam ASR models based in Whisper.Benchmarked DatasetsTill now we have mainly benchmarked on two datasets:Common Voice 11 DatasetI have now done benchmarking on Mozilla’sCommon Voice 11 Malayalam
subset.
The benchmarking results can be found inthe below
dataset.Malayalam Speech CorpusI have now benchmarked on SMC’sMalayalam Speech corpus
dataset. The benchmarking results can be found
inthe below
dataset.Installpipinstallmalayalam_asr_benchmarkingor from github repository# Ensure git is installed, else install it. Eg: In ubuntu via apt install gitpipinstallgit+https://github.com/kurianbenoy/malayalam_asr_benchmarking.gitOr locally# Ensure git is installed, else install it. Eg: In ubuntu via apt install gitgitclonehttps://github.com/kurianbenoy/malayalam_asr_benchmarking.gitcdmalayalam_asr_benchmarking
pipinstall-e.Setting up your development environmentI am developing this project with nbdev. Please take some time reading
up on nbdev … how it works,directives, etc…
by checking outthe
walk-thrusandtutorialson thenbdev
websiteStep 1: Install Quarto:nbdev_install_quartoOther options are mentioned in getting started to
quartoStep 2: Install hooksnbdev_install_hooksStep 3: Install our librarypip install -e '.[dev]'How to usefrommalayalam_asr_benchmarking.commonvoiceimportevaluate_whisper_model_common_voicewerlist=[]cerlist=[]modelsizelist=[]timelist=[]evaluate_whisper_model_common_voice("parambharat/whisper-tiny-ml",werlist,cerlist,modelsizelist,timelist)Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.03k/1.03k [00:00<00:00, 6.09MB/s]
Downloading pytorch_model.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 151M/151M [00:24<00:00, 6.07MB/s]
Downloading (…)okenizer_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 827/827 [00:00<00:00, 2.64MB/s]
Downloading (…)olve/main/vocab.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.04M/1.04M [00:00<00:00, 1.14MB/s]
Downloading (…)olve/main/merges.txt: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 494k/494k [00:00<00:00, 2.65MB/s]
Downloading (…)main/normalizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 52.7k/52.7k [00:00<00:00, 252kB/s]
Downloading (…)in/added_tokens.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.11k/2.11k [00:00<00:00, 8.53MB/s]
Downloading (…)cial_tokens_map.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.06k/2.06k [00:00<00:00, 5.10MB/s]
Downloading (…)rocessor_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 185k/185k [00:02<00:00, 76.2kB/s]

AssertionError: Torch not compiled with CUDA enabledfrommalayalam_asr_benchmarking.commonvoiceimportevaluate_faster_whisper_model_common_voicewerlist=[]cerlist=[]modelsizelist=[]timelist=[]evaluate_faster_whisper_model_common_voice("parambharat/whisper-tiny-ml",werlist,cerlist,modelsizelist,timelist)