update model

README.md

@@ -24,10 +24,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 16.79
+         value: 13.38
        - name: Test CER
          type: cer
-         value: 3.68
+         value: 2.86
 
 ---
 
@@ -82,15 +82,15 @@ for i, predicted_sentence in enumerate(predicted_sentences):
 
 | Reference  | Prediction |
 | ------------- | ------------- |
-| ОН РАБОТАТЬ, А ЕЕ НЕ УДЕРЖАТЬ НИКАК — БЕГАЕТ ЗА КЛЁШЕМ КАЖДОГО БУЛЬВАРНИКА. | ОН РАБОТАТЬ А ЕЕ НЕ УДЕРЖАТНИКАК  БЕГАЕТ ЗА КЛЕШОМ КАЖДОГО БУЛЬВАРНИКА |
+| ОН РАБОТАТЬ, А ЕЕ НЕ УДЕРЖАТЬ НИКАК — БЕГАЕТ ЗА КЛЁШЕМ КАЖДОГО БУЛЬВАРНИКА. | ОН РАБОТАТЬ А ЕЕ НЕ УДЕРЖАТ НИКАК  БЕГАЕТ ЗА КЛЕШОМ КАЖДОГО БУЛЬБАРНИКА |
 | ЕСЛИ НЕ БУДЕТ ВОЗРАЖЕНИЙ, Я БУДУ СЧИТАТЬ, ЧТО АССАМБЛЕЯ СОГЛАСНА С ЭТИМ ПРЕДЛОЖЕНИЕМ. | ЕСЛИ НЕ БУДЕТ ВОЗРАЖЕНИЙ Я БУДУ СЧИТАТЬ ЧТО АССАМБЛЕЯ СОГЛАСНА С ЭТИМ ПРЕДЛОЖЕНИЕМ |
-| ПАЛЕСТИНЦАМ НЕОБХОДИМО СНАЧАЛА УСТАНОВИТЬ МИР С ИЗРАИЛЕМ, А ЗАТЕМ ДОБИВАТЬСЯ ПРИЗНАНИЯ ГОСУДАРСТВЕННОСТИ. | ПАЛЕСТИНЦАМ НЕОБХОДИМО СНАЧАЛА УСТАНОВИТЬ С НИ МИР С ИЗРАИЛЕМ А ЗАТЕМ ДОБИВАТЬСЯ ПРИЗНАНИЯ ГОСУДАРСТВЕННОВСКИЙ |
-| У МЕНЯ БЫЛО ТАКОЕ ЧУВСТВО, ЧТО ЧТО-ТО ТАКОЕ ОЧЕНЬ ВАЖНОЕ Я ПРИБАВЛЯЮ. | У МЕНЯ БЫЛО ТАКОЕ ЧУВСТВО ЧТО ЧТО-ТО ТАКОЕ ОЧЕНЬ ВАЖНОЕ Е ПРЕДБАВЛЯЕТ |
+| ПАЛЕСТИНЦАМ НЕОБХОДИМО СНАЧАЛА УСТАНОВИТЬ МИР С ИЗРАИЛЕМ, А ЗАТЕМ ДОБИВАТЬСЯ ПРИЗНАНИЯ ГОСУДАРСТВЕННОСТИ. | ПАЛЕСТИНЦАМ НЕОБХОДИМО СНАЧАЛА УСТАНОВИТЬ С НИ МИР ФЕЗРЕЛЕМ А ЗАТЕМ ДОБИВАТЬСЯ ПРИЗНАНИЯ ГОСУДАРСТВЕНСКИ |
+| У МЕНЯ БЫЛО ТАКОЕ ЧУВСТВО, ЧТО ЧТО-ТО ТАКОЕ ОЧЕНЬ ВАЖНОЕ Я ПРИБАВЛЯЮ. | У МЕНЯ БЫЛО ТАКОЕ ЧУВСТВО ЧТО ЧТО-ТО ТАКОЕ ОЧЕНЬ ВАЖНОЕ Я ПРЕДБАВЛЯЕТ |
 | ТОЛЬКО ВРЯД ЛИ ПОЙМЕТ. | ТОЛЬКО ВРЯД ЛИ ПОЙМЕТ |
-| ВРОНСКИЙ, СЛУШАЯ ОДНИМ УХОМ, ПЕРЕВОДИЛ БИНОКЛЬ С БЕНУАРА НА БЕЛЬ-ЭТАЖ И ОГЛЯДЫВАЛ ЛОЖИ. | ВЛАСКИ СЛУШАЮ ОДИН ОДНИМ УКА ТЫ ВОДИВ ЕРОКОЙ СПИЕВАЯ НАПЕРЕТАЧ И ОГЛЯДЫВАЛ ЛОЗУ |
-| К СОЖАЛЕНИЮ, СИТУАЦИЯ ПРОДОЛЖАЕТ УХУДШАТЬСЯ. | К СОЖАЛЕНИЮ СИТУАЦИЯ ПРОДОЛЖАЕТ УХУЖАТЬСЯ |
+| ВРОНСКИЙ, СЛУШАЯ ОДНИМ УХОМ, ПЕРЕВОДИЛ БИНОКЛЬ С БЕНУАРА НА БЕЛЬ-ЭТАЖ И ОГЛЯДЫВАЛ ЛОЖИ. | ЗЛАЗКИ СЛУШАЮ ОТ ОДНИМ УХАМ ТЫ ВОТИ В ВИНОКОТ СПИЛА НА ПЕРЕТАЧ И ОКЛЯДЫВАЛ БОСУ |
+| К СОЖАЛЕНИЮ, СИТУАЦИЯ ПРОДОЛЖАЕТ УХУДШАТЬСЯ. | К СОЖАЛЕНИЮ СИТУАЦИИ ПРОДОЛЖАЕТ УХУЖАТЬСЯ |
 | ВСЁ ЖАЛОВАНИЕ УХОДИЛО НА ДОМАШНИЕ РАСХОДЫ И НА УПЛАТУ МЕЛКИХ НЕПЕРЕВОДИВШИХСЯ ДОЛГОВ. | ВСЕ ЖАЛОВАНИЕ УХОДИЛО НА ДОМАШНИЕ РАСХОДЫ И НА УПЛАТУ МЕЛКИХ НЕ ПЕРЕВОДИВШИХСЯ ДОЛГОВ |
-| ТЕПЕРЬ ДЕЛО, КОНЕЧНО, ЗА ТЕМ, ЧТОБЫ ПРЕВРАТИТЬ СЛОВА В ДЕЛА. | ТЕПЕРЬ ДЕЛА КОНЕЧНО ЗА ТЕМ ЧТОБЫ ПРЕВРАТИТЬ СЛОВА В ДЕЛА |
+| ТЕПЕРЬ ДЕЛО, КОНЕЧНО, ЗА ТЕМ, ЧТОБЫ ПРЕВРАТИТЬ СЛОВА В ДЕЛА. | ТЕПЕРЬ ДЕЛАЮ КОНЕЧНО ЗАТЕМ ЧТОБЫ ПРЕВРАТИТЬ СЛОВА В ДЕЛА |
 | ДЕВЯТЬ | ЛЕВЕТЬ |
 
 ## Evaluation
@@ -164,5 +164,5 @@ In the table below I report the Word Error Rate (WER) and the Character Error Ra
 
 | Model | WER | CER |
 | ------------- | ------------- | ------------- |
-| jonatasgrosman/wav2vec2-large-xlsr-53-russian | **16.79%** | **3.68%** |
+| jonatasgrosman/wav2vec2-large-xlsr-53-russian | **13.38%** | **2.86%** |
 | anton-l/wav2vec2-large-xlsr-53-russian | 19.49% | 4.15% |

config.json

@@ -7,6 +7,8 @@
   ],
   "attention_dropout": 0.1,
   "bos_token_id": 1,
+  "codevector_dim": 768,
+  "contrastive_logits_temperature": 0.1,
   "conv_bias": true,
   "conv_dim": [
     512,
@@ -37,12 +39,14 @@
   ],
   "ctc_loss_reduction": "mean",
   "ctc_zero_infinity": true,
+  "diversity_loss_weight": 0.1,
   "do_stable_layer_norm": true,
   "eos_token_id": 2,
   "feat_extract_activation": "gelu",
   "feat_extract_dropout": 0.0,
   "feat_extract_norm": "layer",
   "feat_proj_dropout": 0.05,
+  "feat_quantizer_dropout": 0.0,
   "final_dropout": 0.0,
   "gradient_checkpointing": true,
   "hidden_act": "gelu",
@@ -66,11 +70,15 @@
   "mask_time_selection": "static",
   "model_type": "wav2vec2",
   "num_attention_heads": 16,
+  "num_codevector_groups": 2,
+  "num_codevectors_per_group": 320,
   "num_conv_pos_embedding_groups": 16,
   "num_conv_pos_embeddings": 128,
   "num_feat_extract_layers": 7,
   "num_hidden_layers": 24,
+  "num_negatives": 100,
   "pad_token_id": 0,
-  "transformers_version": "4.5.0.dev0",
-  "vocab_size": 48
+  "proj_codevector_dim": 768,
+  "transformers_version": "4.7.0.dev0",
+  "vocab_size": 39
 }

preprocessor_config.json

@@ -1,5 +1,6 @@
 {
   "do_normalize": true,
+  "feature_extractor_type": "Wav2Vec2FeatureExtractor",
   "feature_size": 1,
   "padding_side": "right",
   "padding_value": 0.0,

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fd8b5c9b3abf69262eedc1de7262a43f35eff2a13da7728268682b626ee03958
-size 1262130647
+oid sha256:d1cdb1a7921de7d363f967a9b0101a713602e109dba62b6f3f9ae2e0b2df0c1c
+size 1262093719

vocab.json

@@ -1 +1 @@
-{"<pad>": 0, "<s>": 1, "</s>": 2, "<unk>": 3, "|": 4, "Е": 6, "С": 7, "О": 8, "O": 9, "Г": 10, "Х": 11, "Щ": 12, "Й": 13, "Ю": 14, "−": 15, "Ь": 16, "X": 17, "Д": 18, "Ё": 19, "К": 20, "У": 21, "А": 22, "З": 23, "I": 24, "Ч": 25, "E": 26, "И": 27, "Ц": 28, "Э": 29, "Ы": 30, "Н": 31, "Ъ": 32, "Ф": 33, "-": 34, "Б": 35, "Л": 36, "C": 37, "Ш": 38, "Я": 39, "Ж": 40, "Т": 41, "М": 42, "'": 43, "В": 44, "П": 45, "Р": 46, "R": 47, "F": 48}
+{"<pad>": 0, "<s>": 1, "</s>": 2, "<unk>": 3, "|": 4, "-": 5, "Ё": 6, "А": 7, "Б": 8, "В": 9, "Г": 10, "Д": 11, "Е": 12, "Ж": 13, "З": 14, "И": 15, "Й": 16, "К": 17, "Л": 18, "М": 19, "Н": 20, "О": 21, "П": 22, "Р": 23, "С": 24, "Т": 25, "У": 26, "Ф": 27, "Х": 28, "Ц": 29, "Ч": 30, "Ш": 31, "Щ": 32, "Ъ": 33, "Ы": 34, "Ь": 35, "Э": 36, "Ю": 37, "Я": 38}