Update README.md

README.md

@@ -5,6 +5,7 @@ datasets:
 - bond005/sberdevices_golos_100h_farfield
 - common_voice
 - bond005/sova_rudevices
+- bond005/rulibrispeech
 metrics:
 - wer
 - cer
@@ -15,6 +16,7 @@ tags:
 - common_voice
 - SberDevices/Golos
 - sova_rudevices
+- rulibrispeech
 license: apache-2.0
 widget:
 - example_title: test sound with Russian speech
@@ -32,10 +34,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 14.553
+         value: 13.204
        - name: Test CER
          type: cer
-         value: 5.327
+         value: 4.157
   - task:
       name: Speech Recognition
       type: automatic-speech-recognition
@@ -46,10 +48,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 21.403
+         value: 17.681
        - name: Test CER
          type: cer
-         value: 9.756
+         value: 6.773
   - task:
       name: Automatic Speech Recognition
       type: automatic-speech-recognition
@@ -60,10 +62,10 @@ model-index:
     metrics:
     - name: Test WER
       type: wer
-      value: 15.891
+      value: 14.693
     - name: Test CER
       type: cer
-      value: 6.136
+      value: 5.765
   - task:
       name: Speech Recognition
       type: automatic-speech-recognition
@@ -74,10 +76,24 @@ model-index:
     metrics:
     - name: Test WER
       type: wer
-      value: 25.771
+      value: 22.727
     - name: Test CER
       type: cer
-      value: 12.037
+      value: 9.183
+  - task:
+      name: Speech Recognition
+      type: automatic-speech-recognition
+    dataset:
+      name: Russian Librispeech
+      type: rulibrispeech
+      args: ru
+    metrics:
+    - name: Test WER
+      type: wer
+      value: 32.540
+    - name: Test CER
+      type: cer
+      value: 10.369
 ---
 # Wav2Vec2-mBART-50-Ru
 
@@ -89,6 +105,7 @@ Wav2Vec2-mBART-50-Ru is the [SpeechEncoderDecoderModel](https://huggingface.co/d
 - [the 100 hours farfield subset of SberDevices Golos](https://huggingface.co/datasets/bond005/sberdevices_golos_100h_farfield)
 - [the Russian subset of Common Voice 6.0](https://huggingface.co/datasets/common_voice)
 - [Sova RuDevices](https://huggingface.co/datasets/bond005/sova_rudevices)
+- 15% part of the training subset of [Russian Librispeech](https://huggingface.co/datasets/bond005/rulibrispeech)
 
 CommonVoice 6.0 contains "rich" text annotations with punctuation and capitalization, but other speech corpora includes plain texts only. Therefore, text annotations of these corpora were riched automatically using the [Silero text enhancement model](https://github.com/snakers4/silero-models#text-enhancement).
 
@@ -109,7 +126,7 @@ from transformers import SpeechEncoderDecoderModel, Wav2Vec2Processor
 
 LANG_ID = "ru"
 MODEL_ID = "bond005/wav2vec2-mbart50-ru"
-SAMPLES = 32
+SAMPLES = 30
 
 num_processes = max(1, os.cpu_count())
 
@@ -148,101 +165,95 @@ with warnings.catch_warnings():
 
 ```text
 ----------------------------------------------------------------------------------------------------
-Reference:  Я беру маленький кусочек бумажки.
-Prediction: Я беру маленькие кусочки бумажки.
-----------------------------------------------------------------------------------------------------
-Reference:  О потерях пока не сообщается.
-Prediction: А потеря их пока не сообщается.
-----------------------------------------------------------------------------------------------------
-Reference:  Ваша воля.
-Prediction: Ваша воля.
+Reference:   Я беру маленький кусочек бумажки.
+Prediction:  Я беру маленькие кусочек бумажки.
 ----------------------------------------------------------------------------------------------------
-Reference:  Мы высоко ценим ее роль в этом отношении.
-Prediction: Мы высоко ценим ее роль в этом отношении.
+Reference:   О потерях пока не сообщается.
+Prediction:  А потеря их пока не сообщается.
 ----------------------------------------------------------------------------------------------------
-Reference:  Вот это вызывало у нас жуткое отторжение.
-Prediction: Вот это вызвало у нас жуткое отвержение.
+Reference:   Ваша воля.
+Prediction:  Ваша воля.
 ----------------------------------------------------------------------------------------------------
-Reference:  Он положил ей букет на книгу.
-Prediction: Он положил ее букет на книгу.
+Reference:   Мы высоко ценим ее роль в этом отношении.
+Prediction:  Мы высоко ценим ее роль в этом отношении.
 ----------------------------------------------------------------------------------------------------
-Reference:  Ну и положу, – обиделась Женя.
-Prediction: – Ну и полож��. – обиделась Женя.
+Reference:   Вот это вызывало у нас жуткое отторжение.
+Prediction:  Вот это вызвало у нас жуткое отвержение.
 ----------------------------------------------------------------------------------------------------
-Reference:  Благодарю представителя Австралии за ее заявление.
-Prediction: Благодарю представителя Австралии за ее заявление.
+Reference:   Он положил ей букет на книгу.
+Prediction:  Он положил ее букет на книгу.
 ----------------------------------------------------------------------------------------------------
-Reference:  Для меня это не было неожиданностью.
-Prediction: Для меня это не было неожиданностью.
+Reference:   Ну и положу, – обиделась Женя.
+Prediction:  – Ну и положи, – обиделась Женя.
 ----------------------------------------------------------------------------------------------------
-Reference:  Поздняя ночь.
-Prediction: Поздняя ночь.
+Reference:   Благодарю представителя Австралии за ее заявление.
+Prediction:  Благодарю представителя Австралии за ее заявление.
 ----------------------------------------------------------------------------------------------------
-Reference:  Тем не менее нужно вновь вычленить некоторые элементы наших политических установок.
-Prediction: Тем не менее нужны новые обычаи принятия, которые элементарны для наших политических установок.
+Reference:   Для меня это не было неожиданностью.
+Prediction:  Для меня это не было неожиданностью.
 ----------------------------------------------------------------------------------------------------
-Reference:  Мы не можем позволить себе упустить эту возможность.
-Prediction: Мы не можем позволить себе упустить эту возможность.
+Reference:   Поздняя ночь.
+Prediction:  Поздняя ночь.
 ----------------------------------------------------------------------------------------------------
-Reference:  В предстоящие месяцы Суд примет решение по ордеру на арест министра обороны Хусейна.
-Prediction: В предстоящие месяцы Суд примет решение по форме нарасти на арест министра Папуа-Новой Гвинеи.
+Reference:   Тем не менее нужно вновь вычленить некоторые элементы наших политических установок.
+Prediction:  Тем не менее нужно назвать нищие нынешние элементы наших политических устоков.
 ----------------------------------------------------------------------------------------------------
-Reference:  Валерия живет в старом панельном доме советских времён.
-Prediction: Валерия живет в старом анальном доме советских временах.
+Reference:   Мы не можем позволить себе упустить эту возможность.
+Prediction:  Мы не можем позволить себе упустить эту возможность.
 ----------------------------------------------------------------------------------------------------
-Reference:  Я вернусь скоро.
-Prediction: Я вернусь скоро...
+Reference:   В предстоящие месяцы Суд примет решение по ордеру на арест министра обороны Хусейна.
+Prediction:  В предстоящие месяцы Суд примет решение по оратору на орифлейм министра иностранных дел Кубы.
 ----------------------------------------------------------------------------------------------------
-Reference:  Слово предоставляется Его Превосходительству принцу Зайду.
-Prediction: Слово предоставляется Его Превосходительству Пан Ги Муну.
+Reference:   Валерия живет в старом панельном доме советских времён.
+Prediction:  Валерия живет в старом Баньяном, да не советских временах.
 ----------------------------------------------------------------------------------------------------
-Reference:  Ну конечно, тебе бы э��ого хотелось.
-Prediction: Ну, конечно, тебе бы этого хотелось.
+Reference:   Я вернусь скоро.
+Prediction:  Я вернусь скоро...
 ----------------------------------------------------------------------------------------------------
-Reference:  Общественные объединения равны перед законом.
-Prediction: Общественные объединения равны перед законом.
+Reference:   Слово предоставляется Его Превосходительству принцу Зайду.
+Prediction:  Слово предоставляется Его Превосходительству Пан Ги Муну.
 ----------------------------------------------------------------------------------------------------
-Reference:  Ну, что же, нету этики, эстетики.
-Prediction: Ну что же, ятаятаятаятаятаятаятаятаятаята?
+Reference:   Ну конечно, тебе бы этого хотелось.
+Prediction:  Ну, конечно, тебе бы этого хотелось.
 ----------------------------------------------------------------------------------------------------
-Reference:  Сразу же она легла в постель.
-Prediction: Сразу же она двигла постель.
+Reference:   Общественные объединения равны перед законом.
+Prediction:  Общественные объединения равны перед законом.
 ----------------------------------------------------------------------------------------------------
-Reference:  Сейчас я сделаю заявление в своем национальном качестве.
-Prediction: Сейчас я сделаю заявление в своем национальном качестве.
+Reference:   Ну, что же, нету этики, эстетики.
+Prediction:  Ну что же, не туда зайти? Не туда зайти?
 ----------------------------------------------------------------------------------------------------
-Reference:  Что там сейчас происходит в Твиттере?
-Prediction: Что там сейчас происходит в Твиттере?
+Reference:   Сразу же она легла в постель.
+Prediction:  Сразу же она легла в постель.
 ----------------------------------------------------------------------------------------------------
-Reference:  Ну хорошо, что револьвер был заряжен холостыми.
-Prediction: Ну хорошо, что Ревьев был заряжен холостами.
+Reference:   Сейчас я сделаю заявление в своем национальном качестве.
+Prediction:  Сейчас я сделаю заявление в своем национальном качестве.
 ----------------------------------------------------------------------------------------------------
-Reference:  А потом дальше может проходить работа такая.
-Prediction: А потом дальше может проходить работа такая.
+Reference:   Что там сейчас происходит в Твиттере?
+Prediction:  Что там сейчас происходит в Твиттере?
 ----------------------------------------------------------------------------------------------------
-Reference:  Из Microsoft написали что на текущий момент у них нет открытых вакансий.
-Prediction: Из моих красотов написали, что на текущий момент у них нет открытых вакансий.
+Reference:   Ну хорошо, что револьвер был заряжен холостыми.
+Prediction:  Ну хорошо, что Револьвер был заряжен холостыми.
 ----------------------------------------------------------------------------------------------------
-Reference:  Мы добились многого, но сейчас не время терять набранную динамику.
-Prediction: Мы добились многого, но сейчас не время терять набранную динамику.
+Reference:   А потом дальше может проходить работа такая.
+Prediction:  А потом дальше может проходить работа такая.
 ----------------------------------------------------------------------------------------------------
-Reference:  Мы внимательно проанализировали документ и содержащиеся в нем выводы и рекомендации.
-Prediction: Мы внимательно проанализировали документ, содержащийся в нем выводы рекомендаций.
+Reference:   Из Microsoft написали что на текущий момент у них нет открытых вакансий.
+Prediction:  Из моих красотов написали, что на текущий момент у них нет открытых вакансий.
 ----------------------------------------------------------------------------------------------------
-Reference:  А сейчас слово имеет представитель Соединенных Штатов Америки.
-Prediction: А сейчас слово имеет представитель Соединенных Штатов Америки.
+Reference:   Мы добились многого, но сейчас не время терять набранную динамику.
+Prediction:  Мы добились многого, но сейчас не время терять набранную динамику.
 ----------------------------------------------------------------------------------------------------
-Reference:  Обстоятельства изменились, и мы должны учитывать это.
-Prediction: Обстоятельно изменились, и мы должны учитывать это.
+Reference:   Мы внимательно проанализировали документ и содержащиеся в нем выводы и рекомендации.
+Prediction:  Мы внимательно проанализировали документ, содержащийся в нем, выводы рекомендаций.
 ----------------------------------------------------------------------------------------------------
-Reference:  На этом принципе основывается и наша позиция по Фолклендским островам.
-Prediction: На этом принципе основывается и наша позиция по Фолклендским островам.
+Reference:   А сейчас слово имеет представитель Соединенных Штатов Америки.
+Prediction:  А сейчас слово имеет представитель Соединенных Штатов Америки.
 ----------------------------------------------------------------------------------------------------
-Reference:  А у тебя бутылка торчит из кармана.
-Prediction: А у тебя бутылка торчит из кармана.
+Reference:   Обстоятельства изменились, и мы должны учитывать это.
+Prediction:  Обстоятельно изменились и мы должны учитывать это.
 ----------------------------------------------------------------------------------------------------
-Reference:  На прошлой неделе вновь обострилась ситуация в Газе.
-Prediction: На прошлой неделе вновь обострилась ситуация в Газе.
+Reference:   На этом принципе основывается и наша позиция по Фолклендским островам.
+Prediction:  На этом принципе основывается и наша позиция по Фолклендским островам.
 ```