Hugging Face's logo

bond005
/
wav2vec2-mbart50-ru

Automatic Speech Recognition
Transformers
PyTorch
Russian
speech-encoder-decoder
audio
speech
common_voice
SberDevices/Golos
sova_rudevices
rulibrispeech
Eval Results
Inference Endpoints
Model card Files Community
1
wav2vec2-mbart50-ru / README.md
bond005's picture
bond005
Update README.md
a585870
preview code
|
raw history blame
14.8 kB
metadata
language: ru
datasets:
  - SberDevices/Golos
  - common_voice
  - sova_rudevices
metrics:
  - wer
  - cer
tags:
  - audio
  - automatic-speech-recognition
  - speech
  - common_voice
  - SberDevices/Golos
license: apache-2.0
model-index:
  - name: Wav2Vec2-mBART-50 for speech-to-text in Russian by Ivan Bondarenko
    results:
      - task:
          name: Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Sberdevices Golos (crowd)
          type: SberDevices/Golos
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 14.553
          - name: Test CER
            type: cer
            value: 5.327
      - task:
          name: Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Sberdevices Golos (farfield)
          type: SberDevices/Golos
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 21.403
          - name: Test CER
            type: cer
            value: 9.756
      - task:
          name: Automatic Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Common Voice ru
          type: common_voice
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 15.891
          - name: Test CER
            type: cer
            value: 6.136
      - task:
          name: Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: Sova RuDevices
          type: sova_rudevices
          args: ru
        metrics:
          - name: Test WER
            type: wer
            value: 25.771
          - name: Test CER
            type: cer
            value: 12.037

Wav2Vec2-mBART-50-Ru

Wav2Vec2-mBART-50-Ru is a speech-sequence-to-text-sequence model, which can convert an input audio with Russian speech into a text with punctuation, capitalization and so on.

Wav2Vec2-mBART-50-Ru is the SpeechEncoderDecoderModel, which was initialized with Wav2Vec2-Large-Ru-Golos as the encoder and mBART-large-50 as the decoder. After its initialization the model was fine-tuned using the training parts of several annotated speech corpora:

CommonVoice 6.0 contains "rich" text annotations with punctuation and capitalization, but other speech corpora includes plain texts only. Therefore, text annotations of these corpora were riched automatically using the Silero text enhancement model.

Usage

When using this model, make sure that your speech input is sampled at 16kHz.

You can use this model by writing your own inference script:

import os
import warnings

import torch
from datasets import load_dataset
from datasets.features import Audio
from transformers import SpeechEncoderDecoderModel, Wav2Vec2Processor

LANG_ID = "ru"
MODEL_ID = "bond005/wav2vec2-mbart50-ru"
SAMPLES = 32

num_processes = max(1, os.cpu_count())

processor = Wav2Vec2Processor.from_pretrained(MODEL_ID)
model = SpeechEncoderDecoderModel.from_pretrained(MODEL_ID)

test_dataset = load_dataset("common_voice", LANG_ID, split=f"test[:{SAMPLES}]")

if test_dataset.features['audio'].sampling_rate != 16_000:
    test_dataset = test_dataset.cast_column(
        'audio',
        Audio(sampling_rate=16_000)
    )

audio_data = [test_dataset[i]['audio']['array'] for i in range(SAMPLES)]

processed = processor(audio_data, sampling_rate=16_000,
                      return_tensors="pt", padding='longest')

with torch.no_grad():
    predicted_ids = model.generate(**processed)

predicted_sentences = processor.batch_decode(
    predicted_ids,
    num_processes=num_processes,
    skip_special_tokens=True
)

with warnings.catch_warnings():
    warnings.simplefilter("ignore")
    for i, predicted_sentence in enumerate(predicted_sentences):
        print("-" * 100)
        print("Reference: ", test_dataset[i]["sentence"])
        print("Prediction:", predicted_sentence)

----------------------------------------------------------------------------------------------------
Reference:  Я беру маленький кусочек бумажки.
Prediction: Я беру маленькие кусочки бумажки.
----------------------------------------------------------------------------------------------------
Reference:  О потерях пока не сообщается.
Prediction: А потеря их пока не сообщается.
----------------------------------------------------------------------------------------------------
Reference:  Ваша воля.
Prediction: Ваша воля.
----------------------------------------------------------------------------------------------------
Reference:  Мы высоко ценим ее роль в этом отношении.
Prediction: Мы высоко ценим ее роль в этом отношении.
----------------------------------------------------------------------------------------------------
Reference:  Вот это вызывало у нас жуткое отторжение.
Prediction: Вот это вызвало у нас жуткое отвержение.
----------------------------------------------------------------------------------------------------
Reference:  Он положил ей букет на книгу.
Prediction: Он положил ее букет на книгу.
----------------------------------------------------------------------------------------------------
Reference:  Ну и положу, – обиделась Женя.
Prediction: – Ну и положи. – обиделась Женя.
----------------------------------------------------------------------------------------------------
Reference:  Благодарю представителя Австралии за ее заявление.
Prediction: Благодарю представителя Австралии за ее заявление.
----------------------------------------------------------------------------------------------------
Reference:  Для меня это не было неожиданностью.
Prediction: Для меня это не было неожиданностью.
----------------------------------------------------------------------------------------------------
Reference:  Поздняя ночь.
Prediction: Поздняя ночь.
----------------------------------------------------------------------------------------------------
Reference:  Тем не менее нужно вновь вычленить некоторые элементы наших политических установок.
Prediction: Тем не менее нужны новые обычаи принятия, которые элементарны для наших политических установок.
----------------------------------------------------------------------------------------------------
Reference:  Мы не можем позволить себе упустить эту возможность.
Prediction: Мы не можем позволить себе упустить эту возможность.
----------------------------------------------------------------------------------------------------
Reference:  В предстоящие месяцы Суд примет решение по ордеру на арест министра обороны Хусейна.
Prediction: В предстоящие месяцы Суд примет решение по форме нарасти на арест министра Папуа-Новой Гвинеи.
----------------------------------------------------------------------------------------------------
Reference:  Валерия живет в старом панельном доме советских времён.
Prediction: Валерия живет в старом анальном доме советских временах.
----------------------------------------------------------------------------------------------------
Reference:  Я вернусь скоро.
Prediction: Я вернусь скоро...
----------------------------------------------------------------------------------------------------
Reference:  Слово предоставляется Его Превосходительству принцу Зайду.
Prediction: Слово предоставляется Его Превосходительству Пан Ги Муну.
----------------------------------------------------------------------------------------------------
Reference:  Ну конечно, тебе бы этого хотелось.
Prediction: Ну, конечно, тебе бы этого хотелось.
----------------------------------------------------------------------------------------------------
Reference:  Общественные объединения равны перед законом.
Prediction: Общественные объединения равны перед законом.
----------------------------------------------------------------------------------------------------
Reference:  Ну, что же, нету этики, эстетики.
Prediction: Ну что же, ятаятаятаятаятаятаятаятаятаята?
----------------------------------------------------------------------------------------------------
Reference:  Сразу же она легла в постель.
Prediction: Сразу же она двигла постель.
----------------------------------------------------------------------------------------------------
Reference:  Сейчас я сделаю заявление в своем национальном качестве.
Prediction: Сейчас я сделаю заявление в своем национальном качестве.
----------------------------------------------------------------------------------------------------
Reference:  Что там сейчас происходит в Твиттере?
Prediction: Что там сейчас происходит в Твиттере?
----------------------------------------------------------------------------------------------------
Reference:  Ну хорошо, что револьвер был заряжен холостыми.
Prediction: Ну хорошо, что Ревьев был заряжен холостами.
----------------------------------------------------------------------------------------------------
Reference:  А потом дальше может проходить работа такая.
Prediction: А потом дальше может проходить работа такая.
----------------------------------------------------------------------------------------------------
Reference:  Из Microsoft написали что на текущий момент у них нет открытых вакансий.
Prediction: Из моих красотов написали, что на текущий момент у них нет открытых вакансий.
----------------------------------------------------------------------------------------------------
Reference:  Мы добились многого, но сейчас не время терять набранную динамику.
Prediction: Мы добились многого, но сейчас не время терять набранную динамику.
----------------------------------------------------------------------------------------------------
Reference:  Мы внимательно проанализировали документ и содержащиеся в нем выводы и рекомендации.
Prediction: Мы внимательно проанализировали документ, содержащийся в нем выводы рекомендаций.
----------------------------------------------------------------------------------------------------
Reference:  А сейчас слово имеет представитель Соединенных Штатов Америки.
Prediction: А сейчас слово имеет представитель Соединенных Штатов Америки.
----------------------------------------------------------------------------------------------------
Reference:  Обстоятельства изменились, и мы должны учитывать это.
Prediction: Обстоятельно изменились, и мы должны учитывать это.
----------------------------------------------------------------------------------------------------
Reference:  На этом принципе основывается и наша позиция по Фолклендским островам.
Prediction: На этом принципе основывается и наша позиция по Фолклендским островам.
----------------------------------------------------------------------------------------------------
Reference:  А у тебя бутылка торчит из кармана.
Prediction: А у тебя бутылка торчит из кармана.
----------------------------------------------------------------------------------------------------
Reference:  На прошлой неделе вновь обострилась ситуация в Газе.
Prediction: На прошлой неделе вновь обострилась ситуация в Газе.

The Google Colab version of this script is available too.

Evaluation

This model was evaluated on the test subsets of SberDevices Golos, Common Voice 6.0 (Russian part), and Sova RuDevices.

Citation

If you want to cite this model you can use this:

@misc{bondarenko2022wav2vec2-large-ru-golos,
  title={Wav2Vec2-mBART-50 for speech-to-text in Russian by Ivan Bondarenko},
  author={Bondarenko, Ivan},
  publisher={Hugging Face},
  journal={Hugging Face Hub},
  howpublished={\url{https://huggingface.co/bond005/wav2vec2-mbart50-ru}},
  year={2023}
}