metadata
language: ka
datasets:
- common_voice
tags:
- audio
- automatic-speech-recognition
- speech
- xlsr-fine-tuning-week
license: apache-2.0
widget:
- example_title: Common Voice sample 566
src: >-
https://huggingface.co/m3hrdadfi/wav2vec2-large-xlsr-georgian/resolve/main/sample566.flac
- example_title: Common Voice sample 95
src: >-
https://huggingface.co/m3hrdadfi/wav2vec2-large-xlsr-georgian/resolve/main/sample95.flac
model-index:
- name: XLSR Wav2Vec2 Georgian by Mehrdad Farahani
results:
- task:
name: Speech Recognition
type: automatic-speech-recognition
dataset:
name: Common Voice ka
type: common_voice
args: ka
metrics:
- name: Test WER
type: wer
value: 43.86
Wav2Vec2-Large-XLSR-53-Georgian
Fine-tuned facebook/wav2vec2-large-xlsr-53 in Georgian using Common Voice. When using this model, make sure that your speech input is sampled at 16kHz.
Usage
The model can be used directly (without a language model) as follows:
Requirements
# requirement packages
!pip install git+https://github.com/huggingface/datasets.git
!pip install git+https://github.com/huggingface/transformers.git
!pip install torchaudio
!pip install librosa
!pip install jiwer
Normalizer
!wget -O normalizer.py https://huggingface.co/m3hrdadfi/wav2vec2-large-xlsr-lithuanian/raw/main/normalizer.py
Prediction
import librosa
import torch
import torchaudio
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
from datasets import load_dataset
import numpy as np
import re
import string
import IPython.display as ipd
from normalizer import normalizer
def speech_file_to_array_fn(batch):
speech_array, sampling_rate = torchaudio.load(batch["path"])
speech_array = speech_array.squeeze().numpy()
speech_array = librosa.resample(np.asarray(speech_array), sampling_rate, 16_000)
batch["speech"] = speech_array
return batch
def predict(batch):
features = processor(batch["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)
input_values = features.input_values.to(device)
attention_mask = features.attention_mask.to(device)
with torch.no_grad():
logits = model(input_values, attention_mask=attention_mask).logits
pred_ids = torch.argmax(logits, dim=-1)
batch["predicted"] = processor.batch_decode(pred_ids)[0]
return batch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
processor = Wav2Vec2Processor.from_pretrained("m3hrdadfi/wav2vec2-large-xlsr-georgian")
model = Wav2Vec2ForCTC.from_pretrained("m3hrdadfi/wav2vec2-large-xlsr-georgian").to(device)
dataset = load_dataset("common_voice", "ka", split="test[:1%]")
dataset = dataset.map(
normalizer,
fn_kwargs={"remove_extra_space": True},
remove_columns=list(set(dataset.column_names) - set(['sentence', 'path']))
)
dataset = dataset.map(speech_file_to_array_fn)
result = dataset.map(predict)
max_items = np.random.randint(0, len(result), 20).tolist()
for i in max_items:
reference, predicted = result["sentence"][i], result["predicted"][i]
print("reference:", reference)
print("predicted:", predicted)
print('---')
Output:
reference: แแ แแแแแแแขแแแแกแแก แแฃแจแ แกแแฅแแ แแแแแแก แแ แฃแแ แแแแแก แแแแแแ แแขแแฃแ แแแซแ แแแแแแแก แแ แแแขแแจแ แแแฌแแแ แแแแแแแก แแฅแขแแฃแ แ แแฎแแ แแแแญแแ แ แแงแ
predicted: แแ แแแแแแแขแ แแแกแแก แแฃแจแ แกแแฅแแ แแแแแแก แแ แฃแแ แแแแแก แแแแแแ แแขแแฃแ แแแซแ แแแแแแแก แแ แแแขแแจแ แแแฌแแแ แแแแแแแก แแฅแขแแฃแ แ แแฎแแ แแแแญแแ แ แแงแ
---
reference: แจแแกแแซแแแแแแแ แแแกแ แแแแแแแแ แแ แแกแแฎแฃแ แแแแแแแ แแแแแฅแชแแแ
predicted: แจแแกแแซแแแแแแแ แแแกแ แแแแแแแแแ แแ แแกแแฎแฃแ แแแแแแแ แแแแแฅแชแแแ
---
reference: แแก แแแแแกแแฎแฃแแแแแแ แแฆแแแญแแแแ แแงแ แแแกแแแแแก แแแแ แแแแแ แแแแกแ แแ แแแคแแแแแก แแแญแแแแแ
predicted: แแก แแแแแกแแฎแฃแแแแแแ แแฆแแแญแแแแ แแงแ แแแกแแแแแก แแแแ แแแแแ แแแแกแ แแ แแแคแแแแแก แแแญแแแแแ
---
reference: แฏแแแแ แแฅแ แแก แแแแแฃแกแแกแ แแ แแแแแแกแแฎแแแแแ แแแแแแแก แแแแแแแชแแแแ แแแแฆแ
predicted: แฏแแแ แแแฅแ แแก แแแแแฃแกแแกแ แแ แแแแแแกแแฎแแแแแ แแแแแแแก แแแแแแแชแแแแ แแแแฆแ
---
reference: แจแแแแแแแจแ แกแแฅแแแแฅแ แแแแแแแแแแ แกแแ แแแแแ แแแแแแแแแแแ แแแแแแแแแ แแแแแแ แแ แฌแแแแแแ แคแแแแ
predicted: แจแแแแฆแแแจแ แกแแฅแแแแฅแ แแแแแแแแแแ แกแแ แแแแแ แแแแแแแแแแแ แแแแแแแแ แแแแแแ แแ แฌแแแแแแ แคแแแแ
---
reference: แแแ แแแกแ แแแฃแแแแจแแ แแ แแแ แแแแแก แแ แแ แ แแแแก แแแแแแแแแแแจแ แแกแแแ แแฃแจแแแแแแแ แแฆแแแจแแฃแแ แกแชแแแแก แแแแแฎแแแ แแแแแแแแแ
predicted: แแแ แแแจแ แแ แฃแแแแจแแ แแ แแแ แแแแแก แแ แแ แแแแแก แแแแแแแแแแแจแ แแกแแแ แแฃแจแแแแแแแแ แแฆแแแจแแฃแแแก แฉแแแแก แแแแแฎแแแแแ แแแแแแแแจแ
---
reference: แแแแแแแ แแแแแ แแแแแขแแก แแแแแแชแแแก แแแแแ แแ แแแแแแ แแกแขแฃแแ แแแ แขแแแก แแแแแ แ แฏแแ แแแ แแแ แแแแ
predicted: แแแแแแแ แแแแแ แแแแแขแแก แแแแแแชแแแก แแแแแ แแ แแแแแฃแ แแกแขแฃแแ แแแ แขแแแก แแแแแ แ แฏแแ แแแ แแแ แแแแ
---
reference: แแ แ
predicted: แแ แ
---
reference: แแแก แจแแแแแ แแแ แแแแแฅแขแแแแก แแฃแแแแแ แฌแแแ แแ
predicted: แแแก แจแแแแแ แแแ แแแแแฅแขแแแแก แคแฃแ แแแแ แฌแแแ แแ
---
reference: แแแแ แแแแฏแแแฃแ แคแแแแกแแคแแแก แจแแแซแแแแ แแแแแแฃแแแแแ แ แฃแกแแแแก แกแแแแแแแ แแแฆแแแฌแ แฐแแแแแ แฏแแแแแ
predicted: แแแแ แแแแแฏแแแแ แคแแแแกแแคแแแก แจแแแซแแแแ แแแแแแฃแแแแแ แ แฃแกแแแแก แกแแแแแแแ แแแฆแแแฌแ แฐแแแแแ แฏแแแแแ
---
reference: แแ แแแฅแกแจแ แฏแแ แแแแก แแแแแแฃ แฐแงแแคแก แแแแญแแ แฅแฃแฉแแแก แแฆแแแกแแแแแ แแ แแแกแแแแแ แแแฌแแแแแแ
predicted: แ แแแแจแ แแแ แแแแฌ แแแแแแ แแแคแก แแแ แแแแคแฃแ แฅแแแก แแฆแแแกแแแแแ แแ แแแกแแแแแ แแแฌแแแแแแ
---
reference: แฐแแแ แ แแ แแก แแแแแแแแแก แแก แซแแ แแแแแ แฌแงแแ แ แ แแแแแกแแช แกแแญแแ แแแแก แงแแแแ แชแแชแฎแแแ แแ แแแแแแแ
predicted: แแ แ แแ แแก แฏแแแฃแแแแแกแแก แซแแ แแแแแ แฌแงแแ แ แ แแแแแกแแช แกแแญแแ แแแแแก แงแแแแ แชแแชแฎแแแ แแ แแแแแแแ
---
reference: แฏแแฃแคแ แฃแแแขแแกแฌแแแแ แแกแ แฃแแแแก แแแแแฃแกแแแแก แแแแ แแก แกแแแฆแแ แแแก
predicted: แฏแแฃแคแแฃแแแขแแกแฌแแแแ แแกแ แฃแแแแก แแแแแฃแกแแแแก แแแแ แแก แกแแแ แแ แแแก
---
reference: แแแแแแแแ แแฃแแแแแแ แชแแแแแแแ แจแแกแแซแแแแแแแแแแก แคแแ แแแแแจแ แแแแฆแ แชแแแแ แแ แแฎแแแ แแแคแแ แแแชแแ
predicted: แแแแแแแแ แแฃแแแแแ แชแแแแแแแ แจแแกแแซแแแแแแแแแแก แคแแ แแแแแจแ แแแแฆแ แชแแขแแ แแ แแฎแแแ แแแคแแ แแแชแแ
---
reference: แแ แแแแแก แ แฌแแแแแ แ แแแแแ แฏแแฃแคแแช แแแแแแ แฏแแแแแ แแแแแ แฌแแแก แแแแซแแแแ แกแแฃแฎแแ แแ แแแ แแฅแ แแ แแแแแแแแแแแ
predicted: แแ แแแ แแก แ แฌแแแแแ แ แแแแแแฏแแฃแคแแก แแแแแแ แฏแแแแแ แแแแแแญแแแก แแแแซแแแแ แกแแฃแงแแแขแแแแ แแฅแ แแ แแแแแแแแแแแ
---
reference: แแแแ แฉแฎแแแซแแก แแแแกแแแฃแแ แแแฃแแ แฆแแแฌแแ แแแฃแซแฆแแแก แฅแฃแแแแกแแกแ แแ แ แฃแกแแแแแแแก แแแแขแ แแแแก แจแแแแฅแแแแแแแ แชแฎแแแ แแแแจแ
predicted: แแแแ แฉแฎแแแซแแก แแแแกแแแฃแแ แแแฃแแ แฆแแแแฌแแ แแแแชแฎแแแก แฅแฃแแแแกแแกแ แแ แ แฃแกแแแแแแแก แแแแขแ แแแแก แจแแแแฅแแแแแแแ แชแฎแแแ แแแแจแ
---
reference: แแแ แกแแแ แแแแแแฅแขแแกแแแ แจแแแแแแ
predicted: แแแ แกแแแ แแแแแแแแก แแแ แจแแแแแแ
---
reference: แคแแ แแแ แกแแ แแฅแแแแแแก แฌแแแแแแแแ
predicted: แแแแชแ แ แแฅแแแแแแก แแแแแแแแ
---
reference: แแแแ แแแแแแแ แแแแฃแแแฃแกแจแ แแฐแแแแจแ
predicted: แแแแ แแแแแแแแ แแแแฃแแแฃแกแจแ แแฎแแแแแจแ
---
reference: แแจแแแแแแแแแกแแแแแก แแแแแแงแ แแแแแแ แงแแคแแแ แแแ แแแแ แขแแก แ แแแแแจแ
predicted: แจแแแแแแแแแกแแแแแก แแแแแแงแ แแแแแแ แงแแคแแแ แแแ แแแแ แขแแก แ แแแแแจแ
---
Evaluation
The model can be evaluated as follows on the Georgian test data of Common Voice.
import librosa
import torch
import torchaudio
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
from datasets import load_dataset, load_metric
import numpy as np
import re
import string
from normalizer import normalizer
def speech_file_to_array_fn(batch):
speech_array, sampling_rate = torchaudio.load(batch["path"])
speech_array = speech_array.squeeze().numpy()
speech_array = librosa.resample(np.asarray(speech_array), sampling_rate, 16_000)
batch["speech"] = speech_array
return batch
def predict(batch):
features = processor(batch["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)
input_values = features.input_values.to(device)
attention_mask = features.attention_mask.to(device)
with torch.no_grad():
logits = model(input_values, attention_mask=attention_mask).logits
pred_ids = torch.argmax(logits, dim=-1)
batch["predicted"] = processor.batch_decode(pred_ids)[0]
return batch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
processor = Wav2Vec2Processor.from_pretrained("m3hrdadfi/wav2vec2-large-xlsr-georgian")
model = Wav2Vec2ForCTC.from_pretrained("m3hrdadfi/wav2vec2-large-xlsr-georgian").to(device)
dataset = load_dataset("common_voice", "ka", split="test")
dataset = dataset.map(
normalizer,
fn_kwargs={"remove_extra_space": True},
remove_columns=list(set(dataset.column_names) - set(['sentence', 'path']))
)
dataset = dataset.map(speech_file_to_array_fn)
result = dataset.map(predict)
wer = load_metric("wer")
print("WER: {:.2f}".format(100 * wer.compute(predictions=result["predicted"], references=result["sentence"])))
Test Result:
- WER: 43.86%
Training & Report
The Common Voice train
, validation
datasets were used for training.
You can see the training states here
The script used for training can be found here
Questions?
Post a Github issue on the Wav2Vec repo.