Upload README.md

README.md

@@ -54,14 +54,23 @@ model-index:
     metrics:
     - name: Test WER
       type: wer
-      value: 29.75
+      value: 25.72051
     - name: Test CER
       type: cer
-      value: 8.15
+      value: 7.39681
 ---
 # Wav2Vec2-Large-Ru-Golos-With-LM
 
-Fine-tuned [facebook/wav2vec2-large-xlsr-53](https://huggingface.co/facebook/wav2vec2-large-xlsr-53) on Russian using the [Sberdevices Golos](https://huggingface.co/datasets/SberDevices/Golos). The language model is based on [the Russian National Corpus](https://ruscorpora.ru/), and this model includes unigrams, bigrams and trigrams.
+The Wav2Vec2 model is based on [facebook/wav2vec2-large-xlsr-53](https://huggingface.co/facebook/wav2vec2-large-xlsr-53), fine-tuned in Russian using [Sberdevices Golos](https://huggingface.co/datasets/SberDevices/Golos) with audio augmentations like as pitch shift, acceleration/deceleration of sound, reverberation etc.
+
+The 2-gram language model is built on the Russian text corpus obtained from six open sources:
+
+- random 7% subset of [Taiga](https://tatianashavrina.github.io/taiga_site)
+- random 20% subset of [Russian Wikipedia](https://ru.wikipedia.org)
+- random 70% subset of [Russian Wikinews](https://ru.wikinews.org)
+- text annotations from the training part of [Sberdevices Golos](https://huggingface.co/datasets/SberDevices/Golos)
+- text annotations from the training and validation parts of [CommonVoice 6.0 Ru](https://huggingface.co/datasets/common_voice)
+- text annotations from [SOVA Dataset](https://github.com/sovaai/sova-dataset) (RuDevices and RuAudiobooks only, i.e. without RuYoutube).
 
 ## Usage
 
@@ -133,16 +142,16 @@ with warnings.catch_warnings():
 ```text
 ----------------------------------------------------------------------------------------------------
 Reference:  я беру маленький кусочек бумажки
-Prediction: либерман чик сочи бумажки
+Prediction: либерман чик кусочек бумажки
 ----------------------------------------------------------------------------------------------------
 Reference:  о потерях пока не сообщается
-Prediction: о потерях пока не сообщается оооо
+Prediction: о потерях пока не сообщается
 ----------------------------------------------------------------------------------------------------
 Reference:  ваша воля
-Prediction: ваша воля
+Prediction: ваша боля
 ----------------------------------------------------------------------------------------------------
 Reference:  мы высоко ценим ее роль в этом отношении
-Prediction: урс ока цене не роль в этом отношении
+Prediction: урсокаценемиюроль об этом отношении
 ----------------------------------------------------------------------------------------------------
 Reference:  вот это вызывало у нас жуткое отторжение
 Prediction: от это вызвал у нас жутко отторжения
@@ -154,7 +163,7 @@ Reference:  ну и положу обиделась женя
 Prediction: ну я положу обиделась женя
 ----------------------------------------------------------------------------------------------------
 Reference:  благодарю представителя австралии за ее заявление
-Prediction: богатырю представитель австралии зае заявления
+Prediction: богатырю представитель австралии заеззаявления
 ----------------------------------------------------------------------------------------------------
 Reference:  для меня это не было неожиданностью
 Prediction: дай мне это не было неожиданностью
@@ -163,16 +172,16 @@ Reference:  поздняя ночь
 Prediction: поздняя ночь
 ----------------------------------------------------------------------------------------------------
 Reference:  тем не менее нужно вновь вычленить некоторые элементы наших политических установок
-Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
+Prediction: тем не менее нужно мыслить снегорэлемента наших политических установок
 ----------------------------------------------------------------------------------------------------
 Reference:  мы не можем позволить себе упустить эту возможность
-Prediction: мы не можем под болить чи опустить эту возможность
+Prediction: мы не можем поболить био пустить эту возможность
 ----------------------------------------------------------------------------------------------------
 Reference:  в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
-Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
+Prediction: в предстоящий месяц суд примет решение по ордеру на арест министра обороны хусейна
 ----------------------------------------------------------------------------------------------------
 Reference:  валерия живет в старом панельном доме советских времен
-Prediction: валерия живето в старом панель тона советских времян
+Prediction: валерия живется старым панельным тон на советских времен
 ----------------------------------------------------------------------------------------------------
 Reference:  я вернусь скоро
 Prediction: я вернусь скоро
@@ -187,7 +196,7 @@ Reference:  общественные объединения равны пере
 Prediction: общественные объединения равны перед законом
 ----------------------------------------------------------------------------------------------------
 Reference:  ну что же нету этики эстетики
-Prediction: ну что же не то натеки невротики
+Prediction: ну что же не то атеистетики
 ----------------------------------------------------------------------------------------------------
 Reference:  сразу же она легла в постель
 Prediction: сразу же она легла в пасти
@@ -197,18 +206,18 @@ Prediction: сразу же она легла в пасти
 The Google Colab version of [this script](https://colab.research.google.com/drive/1SnQmrt6HmMNV-zK-UCPajuwl1JvoCqbX?usp=sharing) is available too.
 
 ## Evaluation
-This model was evaluated on the test subsets of [SberDevices Golos](https://huggingface.co/datasets/SberDevices/Golos) and [Common Voice 6.0](https://huggingface.co/datasets/common_voice) (Russian part), but it was trained on the train subset of SberDevices Golos only.
+This model was evaluated on the test subsets of [SberDevices Golos](https://huggingface.co/datasets/SberDevices/Golos) and [Common Voice 6.0](https://huggingface.co/datasets/common_voice) (Russian part), but it was trained on the training subset of SberDevices Golos only.
 
 ## Citation
 If you want to cite this model you can use this:
 
 ```bibtex
 @misc{bondarenko2022wav2vec2-large-ru-golos,
-  title={XLSR Wav2Vec2 Russian with 3-gram Language Model by Ivan Bondarenko},
+  title={XLSR Wav2Vec2 Russian with 2-gram Language Model by Ivan Bondarenko},
   author={Bondarenko, Ivan},
   publisher={Hugging Face},
   journal={Hugging Face Hub},
   howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos-with-lm}},
   year={2022}
 }
-```
+```