update model

README.md

@@ -24,10 +24,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 14.39
+         value: 11.62
        - name: Test CER
          type: cer
-         value: 4.18
+         value: 3.36
 ---
 
 # Wav2Vec2-Large-XLSR-53-Greek
@@ -81,14 +81,14 @@ for i, predicted_sentence in enumerate(predicted_sentences):
 
 | Reference  | Prediction |
 | ------------- | ------------- |
-| ΤΟ ΒΑΣΙΛΌΠΟΥΛΟ, ΠΟΥ ΜΟΙΆΖΕΙ ΛΕΟΝΤΑΡΆΚΙ ΚΑΙ ΑΕΤΟΥΔΆΚΙ | ΤΟ ΒΑΣΙΛΌΠΟΥΛΟ ΠΟΥ ΜΙΑ ΣΥΛΕΥΕΝΤΑΓΑΡΚΉ ΚΑΙ ΑΙΤΟΥΔΆΚΙ Ο |
-| ΣΥΝΆΜΑ ΞΕΠΡΌΒΑΛΑΝ ΑΠΌ ΜΈΣΑ ΑΠΌ ΤΑ ΔΈΝΤΡΑ, ΔΕΞΙΆ, ΑΡΜΑΤΩΜΈΝΟΙ ΚΑΒΑΛΑΡΈΟΙ. | ΣΥΝΆΜΑ ΞΕΠΡΌΒΑΛΑΝ ΑΠΌ ΜΈΣΑ ΑΠΌ ΤΑ ΔΈΝΤΡΑ ΒΕΞΙΆ ΑΡΜΑΤΩΜΈΝΟΙ ΚΑΒΑΛΑΡΈΟ |
-| ΤΑ ΣΥΣΚΕΥΑΣΜΈΝΑ ΒΙΟΛΟΓΙΚΆ ΛΑΧΑΝΙΚΆ ΔΕΝ ΠΕΡΙΈΧΟΥΝ ΣΥΝΤΗΡΗΤΙΚΆ ΚΑΙ ΟΡΜΌΝΕΣ | ΤΑ ΣΥΣΚΕΠΑΣΜΈΝΑ ΒΙΟΛΟΓΙΚΆ ΛΑΧΑΝΙΚΆ ΔΕΝ ΠΕΡΙΈΧΟΥΝ ΣΙΝΤΗΡΗΤΙΚΆ ΚΑΙ ΟΡΜΏΝΕΣ |
+| ΤΟ ΒΑΣΙΛΌΠΟΥΛΟ, ΠΟΥ ΜΟΙΆΖΕΙ ΛΕΟΝΤΑΡΆΚΙ ΚΑΙ ΑΕΤΟΥΔΆΚΙ | ΤΟ ΒΑΣΙΛΌΠΟΥΛΟ ΠΟΥ ΜΙΑΣΕ ΛΙΟΝΤΑΡΑΚΉ ΚΑΙ ΑΪΤΟΥΔΆΚΙ |
+| ΣΥΝΆΜΑ ΞΕΠΡΌΒΑΛΑΝ ΑΠΌ ΜΈΣΑ ΑΠΌ ΤΑ ΔΈΝΤΡΑ, ΔΕΞΙΆ, ΑΡΜΑΤΩΜΈΝΟΙ ΚΑΒΑΛΑΡΈΟΙ. | ΣΥΝΆΜΑ ΚΑΙ ΤΡΌΒΑΛΑΝ ΑΠΌ ΜΈΣΑ ΑΠΌ ΤΑ ΔΈΝΤΡΑ ΔΕΞΙΆ ΑΡΜΑΤΩΜΈΝΟΙ ΚΑΒΑΛΑΡΈΟΙ |
+| ΤΑ ΣΥΣΚΕΥΑΣΜΈΝΑ ΒΙΟΛΟΓΙΚΆ ΛΑΧΑΝΙΚΆ ΔΕΝ ΠΕΡΙΈΧΟΥΝ ΣΥΝΤΗΡΗΤΙΚΆ ΚΑΙ ΟΡΜΌΝΕΣ | ΤΑ ΣΥΣΚΕΦΑΣΜΈΝΑ ΒΙΟΛΟΓΙΚΆ ΛΑΧΑΝΙΚΆ ΔΕΝ ΠΕΡΙΈΧΟΥΝ ΣΙΔΗΡΗΤΙΚΆ ΚΑΙ ΟΡΜΌΝΕΣ |
 | ΑΚΟΛΟΥΘΉΣΕΤΕ ΜΕ! | ΑΚΟΛΟΥΘΉΣΤΕ ΜΕ |
-| ΚΑΙ ΠΟΎ ΜΠΟΡΏ ΝΑ ΤΟΝ ΒΡΩ; | ΊΤΙ ΤΟΡΟ ΝΟ ΤΙ ΕΒΡΩ |
+| ΚΑΙ ΠΟΎ ΜΠΟΡΏ ΝΑ ΤΟΝ ΒΡΩ; | Ε ΠΟΎ ΜΠΟΡΏ ΝΑ ΤΙ ΕΒΡΩ |
 | ΝΑΙ! ΑΠΟΚΡΊΘΗΚΕ ΤΟ ΠΑΙΔΊ | ΝΑΙ ΑΠΟΚΡΊΘΗΚΕ ΤΟ ΠΑΙΔΊ |
 | ΤΟ ΠΑΛΆΤΙ ΜΟΥ ΤΟ ΠΡΟΜΉΘΕΥΕ. | ΤΟ ΠΑΛΆΤΙ ΜΟΥ ΤΟ ΠΡΟΜΉΘΕΥΕ |
-| ΉΛΘΕ ΜΉΝΥΜΑ ΑΠΌ ΤΟ ΘΕΊΟ ΒΑΣΙΛΙΆ; | ΉΡΘΘΑ ΜΕΊΝΉΝΑΙ ΑΠΌ ΤΟ ΘΕΊΟ ΒΑΣΙΛΙΆ |
+| ΉΛΘΕ ΜΉΝΥΜΑ ΑΠΌ ΤΟ ΘΕΊΟ ΒΑΣΙΛΙΆ; | ΉΛΘΑ ΜΕΊΝΕΙ ΜΕ ΑΠΌ ΤΟ ΘΕΊΟ ΒΑΣΊΛΙΑ |
 | ΠΑΡΑΚΆΤΩ, ΈΝΑ ΡΥΆΚΙ ΜΟΥΡΜΟΎΡΙΖΕ ΓΛΥΚΆ, ΚΥΛΏΝΤΑΣ ΤΑ ΚΡΥΣΤΑΛΛΈΝΙΑ ΝΕΡΆ ΤΟΥ ΑΝΆΜΕΣΑ ΣΤΑ ΠΥΚΝΆ ΧΑΜΌΔΕΝΤΡΑ. | ΠΑΡΑΚΆΤΩ ΈΝΑ ΡΥΆΚΙ ΜΟΥΡΜΟΎΡΙΖΕ ΓΛΥΚΆ ΚΥΛΏΝΤΑΣ ΤΑ ΚΡΥΣΤΑΛΛΈΝΙΑ ΝΕΡΆ ΤΟΥ ΑΝΆΜΕΣΑ ΣΤΑ ΠΥΚΡΆ ΧΑΜΌΔΕΝΤΡΑ |
 | ΠΡΆΓΜΑΤΙ, ΕΊΝΑΙ ΑΣΤΕΊΟ ΝΑ ΠΆΡΕΙ Ο ΔΙΆΒΟΛΟΣ | ΠΡΆΓΜΑΤΗ ΕΊΝΑΙ ΑΣΤΕΊΟ ΝΑ ΠΆΡΕΙ Ο ΔΙΆΒΟΛΟΣ |
 
@@ -164,6 +164,6 @@ In the table below I report the Word Error Rate (WER) and the Character Error Ra
 | Model | WER | CER |
 | ------------- | ------------- | ------------- |
 | lighteternal/wav2vec2-large-xlsr-53-greek | **10.13%** | **2.66%** |
-| jonatasgrosman/wav2vec2-large-xlsr-53-greek | 14.39% | 4.18% |
+| jonatasgrosman/wav2vec2-large-xlsr-53-greek | 11.62% | 3.36% |
 | vasilis/wav2vec2-large-xlsr-53-greek | 19.09% | 5.88% |
 | PereLluis13/wav2vec2-large-xlsr-53-greek | 20.16% | 5.71% |

config.json

@@ -7,6 +7,8 @@
   ],
   "attention_dropout": 0.1,
   "bos_token_id": 1,
+  "codevector_dim": 768,
+  "contrastive_logits_temperature": 0.1,
   "conv_bias": true,
   "conv_dim": [
     512,
@@ -37,12 +39,14 @@
   ],
   "ctc_loss_reduction": "mean",
   "ctc_zero_infinity": true,
+  "diversity_loss_weight": 0.1,
   "do_stable_layer_norm": true,
   "eos_token_id": 2,
   "feat_extract_activation": "gelu",
   "feat_extract_dropout": 0.0,
   "feat_extract_norm": "layer",
   "feat_proj_dropout": 0.05,
+  "feat_quantizer_dropout": 0.0,
   "final_dropout": 0.0,
   "gradient_checkpointing": true,
   "hidden_act": "gelu",
@@ -66,11 +70,15 @@
   "mask_time_selection": "static",
   "model_type": "wav2vec2",
   "num_attention_heads": 16,
+  "num_codevector_groups": 2,
+  "num_codevectors_per_group": 320,
   "num_conv_pos_embedding_groups": 16,
   "num_conv_pos_embeddings": 128,
   "num_feat_extract_layers": 7,
   "num_hidden_layers": 24,
+  "num_negatives": 100,
   "pad_token_id": 0,
-  "transformers_version": "4.5.0.dev0",
-  "vocab_size": 52
+  "proj_codevector_dim": 768,
+  "transformers_version": "4.7.0",
+  "vocab_size": 41
 }

preprocessor_config.json

@@ -1,5 +1,6 @@
 {
   "do_normalize": true,
+  "feature_extractor_type": "Wav2Vec2FeatureExtractor",
   "feature_size": 1,
   "padding_side": "right",
   "padding_value": 0.0,

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9a1cf50d07c0b1bdb1e1664925844b6059b6f5ddfdb166bfeabc63e9e18b1a48
-size 1262147031
+oid sha256:65f2b38c59498e261b55da3d81f1156c22531b798055174e62a4343bbc22951f
+size 1262101912

vocab.json

@@ -1 +1 @@
-{"<pad>": 0, "<s>": 1, "</s>": 2, "<unk>": 3, "|": 4, "Ε": 5, "V": 6, "Τ": 7, "Λ": 8, "Δ": 9, "Ϋ": 10, "Ώ": 11, "N": 12, "Χ": 13, "-": 14, "G": 15, "Β": 16, "Ν": 17, "H": 18, "Ξ": 19, "Ή": 20, "Ί": 21, "Ψ": 22, "Α": 23, "Ω": 24, "Γ": 25, "Κ": 26, "Ι": 27, "Ο": 28, "'": 29, "Ρ": 30, "Ό": 31, "E": 32, "̈": 33, "Έ": 34, "Π": 35, "Θ": 36, "́": 37, "R": 38, "A": 39, "Ά": 40, "O": 41, "Υ": 42, "Σ": 43, "Ζ": 44, "T": 45, "Ύ": 46, "Μ": 47, "Η": 48, "Ϊ": 49, "Φ": 50, "M": 51}
+{"<pad>": 0, "<s>": 1, "</s>": 2, "<unk>": 3, "|": 4, "'": 5, "-": 6, "M": 7, "Ά": 8, "Έ": 9, "Ή": 10, "Ί": 11, "Ό": 12, "Ύ": 13, "Ώ": 14, "Α": 15, "Β": 16, "Γ": 17, "Δ": 18, "Ε": 19, "Ζ": 20, "Η": 21, "Θ": 22, "Ι": 23, "Κ": 24, "Λ": 25, "Μ": 26, "Ν": 27, "Ξ": 28, "Ο": 29, "Π": 30, "Ρ": 31, "Σ": 32, "Τ": 33, "Υ": 34, "Φ": 35, "Χ": 36, "Ψ": 37, "Ω": 38, "Ϊ": 39, "Ϋ": 40}