README.md

metadata

language: ru
datasets:
  - SberDevices/Golos
  - mozilla-foundation/common_voice_6_0
metrics:
  - wer
  - cer
tags:
  - audio
  - automatic-speech-recognition
  - speech
  - mozilla-foundation/common_voice_6_0
  - SberDevices/Golos
license: apache-2.0
model-index:
  - name: XLSR Wav2Vec2 Russian with Language Model by Ivan Bondarenko
    results:
      - task:
          name: Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Sberdevices Golos (crowd)
          type: SberDevices/Golos
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 7.42
          - name: Test CER
            type: cer
            value: 1.85
      - task:
          name: Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Sberdevices Golos (farfield)
          type: SberDevices/Golos
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 16.08
          - name: Test CER
            type: cer
            value: 5.27
      - task:
          name: Automatic Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Common Voice ru
          type: common_voice
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 29.75
          - name: Test CER
            type: cer
            value: 8.15

Wav2Vec2-Large-Ru-Golos-With-LM

Fine-tuned facebook/wav2vec2-large-xlsr-53 on Russian using the Sberdevices Golos. The language model is based on the Russian National Corpus, and this model includes unigrams, bigrams and trigrams.

Usage

When using this model, make sure that your speech input is sampled at 16kHz.

You can use this model by writing your own inference script:

import os

import librosa
import nltk
import numpy as np

import torch
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2ProcessorWithLM

LANG_ID = "ru"
MODEL_ID = "bond005/wav2vec2-large-ru-golos-with-lm"
SAMPLES = 20

nltk.download('punkt')
num_processes = max(1, os.cpu_count())

test_dataset = load_dataset("common_voice", LANG_ID, split=f"test[:{SAMPLES}]")
processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)

# Preprocessing the datasets.
# We need to read the audio files as arrays
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = librosa.load(batch["path"], sr=16000)
    prepared_sentence = ' '.join(list(filter(
        lambda it: it.isalpha(),
        nltk.wordpunct_tokenize(batch["sentence"].lower().replace('ё', 'е'))
    )))
    batch["speech"] = np.asarray(speech_array, dtype=np.float32)
    batch["sentence"] = prepared_sentence
    return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)

inputs = processor(test_dataset["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)
with torch.no_grad():
    logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits
predicted_sentences = processor.batch_decode(
    logits=logits.numpy(),
    num_processes=num_processes
).text

for i, predicted_sentence in enumerate(predicted_sentences):
    print("-" * 100)
    print("Reference:", test_dataset[i]["sentence"])
    print("Prediction:", predicted_sentence)

----------------------------------------------------------------------------------------------------
Reference: я беру маленький кусочек бумажки
Prediction: либерман чик сочи бумажки
----------------------------------------------------------------------------------------------------
Reference: о потерях пока не сообщается
Prediction: о потерях пока не сообщается оооо
----------------------------------------------------------------------------------------------------
Reference: ваша воля
Prediction: ваша воля
----------------------------------------------------------------------------------------------------
Reference: мы высоко ценим ее роль в этом отношении
Prediction: урс ока цене не роль в этом отношении
----------------------------------------------------------------------------------------------------
Reference: вот это вызывало у нас жуткое отторжение
Prediction: от это вызвал у нас жутко отторжения
----------------------------------------------------------------------------------------------------
Reference: он положил ей букет на книгу
Prediction: он положил букет на книгу
----------------------------------------------------------------------------------------------------
Reference: ну и положу обиделась женя
Prediction: ну я положу обиделась женя
----------------------------------------------------------------------------------------------------
Reference: благодарю представителя австралии за ее заявление
Prediction: богатырю представитель австралии зае заявления
----------------------------------------------------------------------------------------------------
Reference: для меня это не было неожиданностью
Prediction: дай мне это не было неожиданностью
----------------------------------------------------------------------------------------------------
Reference: поздняя ночь
Prediction: поздняя ночь
----------------------------------------------------------------------------------------------------
Reference: тем не менее нужно вновь вычленить некоторые элементы наших политических установок
Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
----------------------------------------------------------------------------------------------------
Reference: мы не можем позволить себе упустить эту возможность
Prediction: мы не можем под болить чи опустить эту возможность
----------------------------------------------------------------------------------------------------
Reference: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
----------------------------------------------------------------------------------------------------
Reference: валерия живет в старом панельном доме советских времен
Prediction: валерия живето в старом панель тона советских времян
----------------------------------------------------------------------------------------------------
Reference: я вернусь скоро
Prediction: я вернусь скоро
----------------------------------------------------------------------------------------------------
Reference: слово предоставляется его превосходительству принцу зайду
Prediction: слово предоставляется его превосходительство принцу зайду
----------------------------------------------------------------------------------------------------
Reference: ну конечно тебе бы этого хотелось
Prediction: ну конечно тебе этого хотелось
----------------------------------------------------------------------------------------------------
Reference: общественные объединения равны перед законом
Prediction: общественные объединения равны перед законом
----------------------------------------------------------------------------------------------------
Reference: ну что же нету этики эстетики
Prediction: ну что же не то натеки невротики
----------------------------------------------------------------------------------------------------
Reference: сразу же она легла в постель
Prediction: сразу же она легла в пасти

The Google Colab version of this script is available too.

Evaluation

This model was evaluated on the test subsets of SberDevices Golos and Common Voice 6.0 (Russian part), but it was trained on the train subset of SberDevices Golos only.

Citation

If you want to cite this model you can use this:

@misc{bondarenko2022wav2vec2-large-ru-golos,
  title={XLSR Wav2Vec2 Russian with Language Model by Ivan Bondarenko},
  author={Bondarenko, Ivan},
  publisher={Hugging Face},
  journal={Hugging Face Hub},
  howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos-with-lm}},
  year={2022}
}