Update README.md

README.md

@@ -3,6 +3,7 @@ language: ru
 datasets:
 - SberDevices/Golos
 - common_voice
+- bond005/rulibrispeech
 metrics:
 - wer
 - cer
@@ -12,6 +13,7 @@ tags:
 - speech
 - common_voice
 - SberDevices/Golos
+- bond005/rulibrispeech
 license: apache-2.0
 widget:
 - example_title: test Russian speech "нейросети это хорошо" (in English, "neural networks are good")
@@ -29,10 +31,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 4.272
+         value: 4.447
        - name: Test CER
          type: cer
-         value: 0.983
+         value: 0.975
   - task:
       name: Speech Recognition
       type: automatic-speech-recognition
@@ -43,10 +45,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 11.405
+         value: 10.940
        - name: Test CER
          type: cer
-         value: 3.628
+         value: 3.595
   - task:
       name: Automatic Speech Recognition
       type: automatic-speech-recognition
@@ -57,10 +59,24 @@ model-index:
     metrics:
     - name: Test WER
       type: wer
-      value: 19.053
+      value: 12.488
     - name: Test CER
       type: cer
-      value: 4.876
+      value: 3.012
+  - task:
+      name: Automatic Speech Recognition
+      type: automatic-speech-recognition
+    dataset:
+      name: Russian Librispeech
+      type: bond005/rulibrispeech
+      args: ru
+    metrics:
+    - name: Test WER
+      type: wer
+      value: 16.551
+    - name: Test CER
+      type: cer
+      value: 3.708
 ---
 # Wav2Vec2-Large-Ru-Golos-With-LM
 
@@ -92,7 +108,7 @@ from transformers import Wav2Vec2ForCTC, Wav2Vec2ProcessorWithLM
 
 MODEL_ID = "bond005/wav2vec2-large-ru-golos-with-lm"
 DATASET_ID = "bond005/sberdevices_golos_10h_crowd"
-SAMPLES = 20
+SAMPLES = 30
 
 nltk.download('punkt')
 num_processes = max(1, os.cpu_count())
@@ -139,72 +155,102 @@ with warnings.catch_warnings():
 
 ```text
 ----------------------------------------------------------------------------------------------------
-Reference:  шестьдесят тысяч тенге сколько будет стоить
-Prediction: шестьдесят тысяч тенге сколько будет стоить
+Reference:   шестьдесят тысяч тенге сколько будет стоить
+Prediction:  шестьдесят тысяч тенге сколько будет стоить
+----------------------------------------------------------------------------------------------------
+Reference:   покажи мне на смотрешке телеканал синергия тв
+Prediction:  покажи мне на смотрешке телеканал синергия тв
+----------------------------------------------------------------------------------------------------
+Reference:   заказать яблоки зеленые
+Prediction:  заказать яблоки зеленые
+----------------------------------------------------------------------------------------------------
+Reference:   алиса закажи килограммовый торт графские развалины
+Prediction:  алиса закажи килограммовый торт графские развалины
+----------------------------------------------------------------------------------------------------
+Reference:   ищи телеканал про бизнес на тиви
+Prediction:  ищи телеканал про бизнес на т в
+----------------------------------------------------------------------------------------------------
+Reference:   михаила мурадяна
+Prediction:  михаила мурадяна
+----------------------------------------------------------------------------------------------------
+Reference:   любовницы две тысячи тринадцать пятнадцатый сезон
+Prediction:  любовница две тысячи тринадцать пятнадцатый сезон
+----------------------------------------------------------------------------------------------------
+Reference:   найди боевики
+Prediction:  найди боевики
+----------------------------------------------------------------------------------------------------
+Reference:   гетто сезон три
+Prediction:  гетта сезон три
+----------------------------------------------------------------------------------------------------
+Reference:   хочу посмотреть ростов папа на телевизоре
+Prediction:  хочу посмотреть ростов папа на телевизоре
+----------------------------------------------------------------------------------------------------
+Reference:   сбер какое твое самое ненавистное занятие
+Prediction:  сбер какое твое самое ненавистное занятие
 ----------------------------------------------------------------------------------------------------
-Reference:  покажи мне на смотрешке телеканал синергия тв
-Prediction: покажи мне на смотрешке телеканал синергия тв
+Reference:   афина чем платят у китайцев
+Prediction:  афина чем платят у китайцев
 ----------------------------------------------------------------------------------------------------
-Reference:  заказать яблоки зеленые
-Prediction: заказать яблоки зеленые
+Reference:   джой как работает досрочное погашение кредита
+Prediction:  джой как работает досрочное погашение кредита
 ----------------------------------------------------------------------------------------------------
-Reference:  алиса закажи килограммовый торт графские развалины
-Prediction: алиса закажи килограммовый торт графские развалины
+Reference:   у тебя найдется люк кейдж
+Prediction:  у тебя найдется люк кейдж
 ----------------------------------------------------------------------------------------------------
-Reference:  ищи телеканал про бизнес на тиви
-Prediction: ищи телеканал про бизнес на тви
+Reference:   у тебя будет лучшая часть пинк
+Prediction:  у тебя будет лучшая часть пинк
 ----------------------------------------------------------------------------------------------------
-Reference:  михаила мурадяна
-Prediction: михаила мурадяна
+Reference:   пожалуйста пополните мне счет
+Prediction:  пожалуйста пополните мне счет
 ----------------------------------------------------------------------------------------------------
-Reference:  любовницы две тысячи тринадцать пятнадцатый сезон
-Prediction: любовница две тысячи тринадцать пятнадцатый сезон
+Reference:   анне павловне шабуровой
+Prediction:  анне павловне шабуровой
 ----------------------------------------------------------------------------------------------------
-Reference:  найди боевики
-Prediction: найди боевики
+Reference:   врубай на смотрешке муз тв
+Prediction:  врубай на смотрешке муз тви
 ----------------------------------------------------------------------------------------------------
-Reference:  гетто сезон три
-Prediction: гетта сезон три
+Reference:   найди на смотрешке лдпр тв
+Prediction:  найди на смотрешке лдпр тв
 ----------------------------------------------------------------------------------------------------
-Reference:  хочу посмотреть ростов папа на телевизоре
-Prediction: хочу посмотреть ростов папа на телевизоре
+Reference:   сбер мне нужен педикюр забей мне место
+Prediction:  сбер мне нужен педикюр за биль не место
 ----------------------------------------------------------------------------------------------------
-Reference:  сбер какое твое самое ненавистное занятие
-Prediction: сбер какое твое самое ненавистное занятие
+Reference:   галины афанасьевны
+Prediction:  галины афанасьевны
 ----------------------------------------------------------------------------------------------------
-Reference:  афина чем платят у китайцев
-Prediction: афина чем платят у китайцев
+Reference:   сколько стоимость обмена китайского юаня на российский рубль
+Prediction:  сколько стоимость обмена китайского юаня на российский рубль
 ----------------------------------------------------------------------------------------------------
-Reference:  джой как работает досрочное погашение кредита
-Prediction: джой как работает досрочное погашение кредита
+Reference:   обмани меня сезон восемь часть тринадцать
+Prediction:  обмани меня сезон восемь часть тринадцать
 ----------------------------------------------------------------------------------------------------
-Reference:  у тебя найдется люк кейдж
-Prediction: у тебя найдется люк кейдж
+Reference:   включи канал футбол эйч ди
+Prediction:  включи канал футбол эйч ди
 ----------------------------------------------------------------------------------------------------
-Reference:  у тебя будет лучшая часть пинк
-Prediction: у тебя будет лучшая часть пинк
+Reference:   поп звезда не переставай не останавливайся найти
+Prediction:  поп звезда не переставая не останавливайся найти
 ----------------------------------------------------------------------------------------------------
-Reference:  пожалуйста пополните мне счет
-Prediction: пожалуйста пополните мне счет
+Reference:   салют самый популярный фильм люка бессона
+Prediction:  салют самый популярный фильм люка бессона
 ----------------------------------------------------------------------------------------------------
-Reference:  анне павловне шабуровой
-Prediction: анне павловне шабуровой
+Reference:   татьяна зиганшина
+Prediction:  татьяна зиганшина
 ----------------------------------------------------------------------------------------------------
-Reference:  врубай на смотрешке муз тв
-Prediction: врубай на смотрешке муз тиви
+Reference:   джой когда перестало существовать хеттское царство
+Prediction:  джой когда перестало существовать хеттское царство
 ----------------------------------------------------------------------------------------------------
-Reference:  найди на смотрешке лдпр тв
-Prediction: найди на смотрешке лдпр тв
+Reference:   олег яковлев
+Prediction:  олег яковлев
 ----------------------------------------------------------------------------------------------------
-Reference:  сбер мне нужен педикюр забей мне место
-Prediction: сбер мне нужен педикюр забелье место
+Reference:   посоветуй мне шестая часть как избежать наказания за убийство
+Prediction:  посоветуй мне шестая часть как избежать наказания за убийство
 ```
 
 
 The Google Colab version of [this script](https://colab.research.google.com/drive/1SnQmrt6HmMNV-zK-UCPajuwl1JvoCqbX?usp=sharing) is available too.
 
 ## Evaluation
-This model was evaluated on the test subsets of [SberDevices Golos](https://huggingface.co/datasets/SberDevices/Golos) and [Common Voice 6.0](https://huggingface.co/datasets/common_voice) (Russian part), but it was trained on the training subset of SberDevices Golos only.
+This model was evaluated on the test subsets of [SberDevices Golos](https://huggingface.co/datasets/SberDevices/Golos), [Common Voice 6.0](https://huggingface.co/datasets/common_voice) (Russian part), and [Russian Librispeech](https://huggingface.co/datasets/bond005/rulibrispeech), but it was trained on the training subset of SberDevices Golos only. You can see the evaluation script on other datasets, including Russian Librispeech and SOVA RuDevices, on my Kaggle web-page https://www.kaggle.com/code/bond005/wav2vec2-ru-lm-eval
 
 ## Citation
 If you want to cite this model you can use this: