Add language model to Malayalam ASR model

README.md

@@ -0,0 +1,182 @@
+---
+language: ml
+datasets:
+- Indic TTS Malayalam Speech Corpus
+- Openslr Malayalam Speech Corpus
+- SMC Malayalam Speech Corpus
+- IIIT-H Indic Speech Databases
+metrics:
+- wer
+tags:
+- audio
+- automatic-speech-recognition
+- speech
+- xlsr-fine-tuning-week
+license: apache-2.0
+model-index:
+- name: Malayalam XLSR Wav2Vec2 Large 53
+  results:
+  - task: 
+      name: Speech Recognition
+      type: automatic-speech-recognition
+    dataset:
+      name: Test split of combined dataset using all datasets mentioned above
+      type: custom
+      args: ml
+    metrics:
+       - name: Test WER
+         type: wer
+         value: 28.43
+---
+
+# Wav2Vec2-Large-XLSR-53-ml
+
+Fine-tuned [facebook/wav2vec2-large-xlsr-53](https://huggingface.co/facebook/wav2vec2-large-xlsr-53) on ml (Malayalam) using the [Indic TTS Malayalam Speech Corpus (via Kaggle)](https://www.kaggle.com/kavyamanohar/indic-tts-malayalam-speech-corpus), [Openslr Malayalam Speech Corpus](http://openslr.org/63/), [SMC Malayalam Speech Corpus](https://blog.smc.org.in/malayalam-speech-corpus/) and [IIIT-H Indic Speech Databases](http://speech.iiit.ac.in/index.php/research-svl/69.html). The notebooks used to train model are available [here](https://github.com/gauthamsuresh09/wav2vec2-large-xlsr-53-malayalam/). When using this model, make sure that your speech input is sampled at 16kHz.
+
+## Usage
+
+The model can be used directly (without a language model) as follows:
+
+```python
+import torch
+import torchaudio
+from datasets import load_dataset
+from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
+
+test_dataset = <load-test-split-of-combined-dataset> # Details on loading this dataset in the evaluation section
+
+processor = Wav2Vec2Processor.from_pretrained("gvs/wav2vec2-large-xlsr-malayalam")
+model = Wav2Vec2ForCTC.from_pretrained("gvs/wav2vec2-large-xlsr-malayalam")
+
+resampler = torchaudio.transforms.Resample(48_000, 16_000)
+
+# Preprocessing the datasets.
+# We need to read the audio files as arrays
+def speech_file_to_array_fn(batch):
+  speech_array, sampling_rate = torchaudio.load(batch["path"])
+  batch["speech"] = resampler(speech_array).squeeze().numpy()
+  return batch
+
+test_dataset = test_dataset.map(speech_file_to_array_fn)
+inputs = processor(test_dataset["speech"][:2], sampling_rate=16_000, return_tensors="pt", padding=True)
+
+with torch.no_grad():
+  logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits
+
+predicted_ids = torch.argmax(logits, dim=-1)
+
+print("Prediction:", processor.batch_decode(predicted_ids))
+print("Reference:", test_dataset["sentence"])
+```
+
+
+## Evaluation
+
+The model can be evaluated as follows on the test data of combined custom dataset. For more details on dataset preparation, check the notebooks mentioned at the end of this file.
+
+
+```python
+import torch
+import torchaudio
+from datasets import load_dataset, load_metric
+from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
+import re
+from datasets import load_dataset, load_metric
+from pathlib import Path
+
+# The custom dataset needs to be created using notebook mentioned at the end of this file
+data_dir = Path('<path-to-custom-dataset>')
+
+dataset_folders = {
+    'iiit': 'iiit_mal_abi',
+    'openslr': 'openslr',
+    'indic-tts': 'indic-tts-ml',
+    'msc-reviewed': 'msc-reviewed-speech-v1.0+20200825',
+}
+
+# Set directories for datasets
+openslr_male_dir = data_dir / dataset_folders['openslr'] / 'male'
+openslr_female_dir = data_dir / dataset_folders['openslr'] / 'female'
+iiit_dir = data_dir / dataset_folders['iiit']
+indic_tts_male_dir = data_dir / dataset_folders['indic-tts'] / 'male'
+indic_tts_female_dir = data_dir / dataset_folders['indic-tts'] / 'female'
+msc_reviewed_dir = data_dir / dataset_folders['msc-reviewed']
+
+# Load the datasets
+openslr_male = load_dataset("json", data_files=[f"{str(openslr_male_dir.absolute())}/sample_{i}.json" for i in range(2023)], split="train")
+openslr_female = load_dataset("json", data_files=[f"{str(openslr_female_dir.absolute())}/sample_{i}.json" for i in range(2103)], split="train")
+iiit = load_dataset("json", data_files=[f"{str(iiit_dir.absolute())}/sample_{i}.json" for i in range(1000)], split="train")
+indic_tts_male = load_dataset("json", data_files=[f"{str(indic_tts_male_dir.absolute())}/sample_{i}.json" for i in range(5649)], split="train")
+indic_tts_female = load_dataset("json", data_files=[f"{str(indic_tts_female_dir.absolute())}/sample_{i}.json" for i in range(2950)], split="train")
+msc_reviewed = load_dataset("json", data_files=[f"{str(msc_reviewed_dir.absolute())}/sample_{i}.json" for i in range(1541)], split="train")
+
+# Create test split as 20%, set random seed as well.
+test_size = 0.2
+random_seed=1
+openslr_male_splits = openslr_male.train_test_split(test_size=test_size, seed=random_seed)
+openslr_female_splits = openslr_female.train_test_split(test_size=test_size, seed=random_seed)
+iiit_splits = iiit.train_test_split(test_size=test_size, seed=random_seed)
+indic_tts_male_splits = indic_tts_male.train_test_split(test_size=test_size, seed=random_seed)
+indic_tts_female_splits = indic_tts_female.train_test_split(test_size=test_size, seed=random_seed)
+msc_reviewed_splits = msc_reviewed.train_test_split(test_size=test_size, seed=random_seed)
+
+# Get combined test dataset
+split_list = [openslr_male_splits, openslr_female_splits, indic_tts_male_splits, indic_tts_female_splits, msc_reviewed_splits, iiit_splits]
+test_dataset = datasets.concatenate_datasets([split['test'] for split in split_list)
+
+wer = load_metric("wer")
+
+processor = Wav2Vec2Processor.from_pretrained("gvs/wav2vec2-large-xlsr-malayalam") 
+model = Wav2Vec2ForCTC.from_pretrained("gvs/wav2vec2-large-xlsr-malayalam")
+model.to("cuda")
+
+resamplers = {
+    48000: torchaudio.transforms.Resample(48_000, 16_000),
+}
+
+chars_to_ignore_regex = '[\\\\,\\\\?\\\\.\\\\!\\\\-\\\\;\\\\:\\\\"\\\\“\\\\%\\\\‘\\\\”\\\\�Utrnle\\\\_]'
+unicode_ignore_regex = r'[\\\\u200e]'
+
+# Preprocessing the datasets.
+# We need to read the audio files as arrays
+def speech_file_to_array_fn(batch):
+    batch["sentence"] = re.sub(chars_to_ignore_regex, '', batch["sentence"])
+    batch["sentence"] = re.sub(unicode_ignore_regex, '', batch["sentence"])
+    speech_array, sampling_rate = torchaudio.load(batch["path"])
+    # Resample if its not in 16kHz
+    if sampling_rate != 16000:
+        batch["speech"] = resamplers[sampling_rate](speech_array).squeeze().numpy()
+    else:
+        batch["speech"] = speech_array.squeeze().numpy()
+    # If more than one dimension is present, pick first one
+    if batch["speech"].ndim > 1:
+        batch["speech"] = batch["speech"][0]
+    return batch
+
+test_dataset = test_dataset.map(speech_file_to_array_fn)
+
+# Preprocessing the datasets.
+# We need to read the audio files as arrays
+def evaluate(batch):
+  inputs = processor(batch["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)
+
+  with torch.no_grad():
+    logits = model(inputs.input_values.to("cuda"), attention_mask=inputs.attention_mask.to("cuda")).logits
+
+  pred_ids = torch.argmax(logits, dim=-1)
+  batch["pred_strings"] = processor.batch_decode(pred_ids)
+  return batch
+
+result = test_dataset.map(evaluate, batched=True, batch_size=8)
+
+print("WER: {:2f}".format(100 * wer.compute(predictions=result["pred_strings"], references=result["sentence"])))
+```
+
+**Test Result (WER)**: 28.43 %  
+
+
+## Training
+
+A combined dataset was created using [Indic TTS Malayalam Speech Corpus (via Kaggle)](https://www.kaggle.com/kavyamanohar/indic-tts-malayalam-speech-corpus), [Openslr Malayalam Speech Corpus](http://openslr.org/63/), [SMC Malayalam Speech Corpus](https://blog.smc.org.in/malayalam-speech-corpus/) and [IIIT-H Indic Speech Databases](http://speech.iiit.ac.in/index.php/research-svl/69.html). The datasets were downloaded and was converted to HF Dataset format using [this notebook](https://github.com/gauthamsuresh09/wav2vec2-large-xlsr-53-malayalam/blob/main/make_hf_dataset.ipynb)
+
+The notebook used for training and evaluation can be found [here](https://github.com/gauthamsuresh09/wav2vec2-large-xlsr-53-malayalam/blob/main/fine-tune-xlsr-wav2vec2-on-malayalam-asr-with-transformers_v2.ipynb)

alphabet.json

@@ -0,0 +1 @@
+{"labels": ["\u0d7c", "\u0d38", "\u0d02", "\u0d0b", "\u0d39", "\u0d27", "\u0d22", "\u0d20", "\u0d1f", "\u0d2a", "\u0d2f", "\u0d40", "\u0d15", " ", "\u0d30", "\u0d0f", "\u0d09", "\u0d43", "\u0d7a", "\u0d23", "\u0d3f", "\u200c", "\u0d7d", "\u0d4a", "\u0d32", "\u0d57", "\u0d18", "\u0d4c", "\u0d26", "\u0d2c", "\u0d1b", "\u0d1d", "\u0d0a", "\u0d28", "\u0d4b", "\u0d71", "\u0d07", "\u0d10", "\u0d48", "\u0d03", "\u0d3e", "\u0d1a", "\u0d47", "\u0d25", "\u0d21", "\u0d0e", "\u0d37", "\u0d06", "\u0d05", "\u0d2e", "\u0d12", "\u0d36", "\u0d16", "\u0d2b", "\u0d41", "\u0d17", "\u0d33", "\u0d13", "\u0d42", "\u0d35", "\u0d1e", "\u0d31", "\u0d2d", "\u0d7b", "\u0d7e", "\u0d08", "\u0d4d", "\u0d46", "\u0d19", "\u0d24", "\u0d1c", "\u200d", "\u0d14", "\u0d34", "\u2047", "", "<s>", "</s>"], "is_bpe": false}

config.json

@@ -0,0 +1,76 @@
+{
+  "_name_or_path": "facebook/wav2vec2-large-xlsr-53",
+  "activation_dropout": 0.0,
+  "apply_spec_augment": true,
+  "architectures": [
+    "Wav2Vec2ForCTC"
+  ],
+  "attention_dropout": 0.094,
+  "bos_token_id": 1,
+  "conv_bias": true,
+  "conv_dim": [
+    512,
+    512,
+    512,
+    512,
+    512,
+    512,
+    512
+  ],
+  "conv_kernel": [
+    10,
+    3,
+    3,
+    3,
+    3,
+    2,
+    2
+  ],
+  "conv_stride": [
+    5,
+    2,
+    2,
+    2,
+    2,
+    2,
+    2
+  ],
+  "ctc_loss_reduction": "mean",
+  "ctc_zero_infinity": false,
+  "do_stable_layer_norm": true,
+  "eos_token_id": 2,
+  "feat_extract_activation": "gelu",
+  "feat_extract_dropout": 0.0,
+  "feat_extract_norm": "layer",
+  "feat_proj_dropout": 0.0,
+  "final_dropout": 0.0,
+  "gradient_checkpointing": true,
+  "hidden_act": "gelu",
+  "hidden_dropout": 0.05,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "layer_norm_eps": 1e-05,
+  "layerdrop": 0.045,
+  "mask_channel_length": 10,
+  "mask_channel_min_space": 1,
+  "mask_channel_other": 0.0,
+  "mask_channel_prob": 0.0,
+  "mask_channel_selection": "static",
+  "mask_feature_length": 10,
+  "mask_feature_prob": 0.0,
+  "mask_time_length": 10,
+  "mask_time_min_space": 1,
+  "mask_time_other": 0.0,
+  "mask_time_prob": 0.082,
+  "mask_time_selection": "static",
+  "model_type": "wav2vec2",
+  "num_attention_heads": 16,
+  "num_conv_pos_embedding_groups": 16,
+  "num_conv_pos_embeddings": 128,
+  "num_feat_extract_layers": 7,
+  "num_hidden_layers": 24,
+  "pad_token_id": 75,
+  "transformers_version": "4.5.0.dev0",
+  "vocab_size": 76
+}

flax_model.msgpack

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:18381d01f5140589dfb1d13754725c976fd7172be4e92a52445f2a13baf638f6
+size 1262081874

language_model/attrs.json

@@ -0,0 +1 @@
+{"alpha": 0.5, "beta": 1.5, "unk_score_offset": -10.0, "score_boundary": true}

language_model/unigrams.txt

@@ -0,0 +1,867 @@
+</s>
+<s>
+അഖിലമാശുചൊൽക
+അടുത്തു
+അതിനില്ലെനിക്കുപേക്ഷ
+അതിശയിച്ചോരനുഭവമെനിക്കിപ്പോൾ
+അനുഗമനം
+അന്തകവൈരിപാദചിന്തനം
+അന്തരംഗമതിലാരിതോർത്തിരു
+അന്തിയാം
+അന്നെന്തേ
+അപ
+അപജയപ്പെട്ടായോ
+അപഹായ
+അഭിമുഖന്മാരെക്കണ്ടെൻ
+അഭിഷിഞ്ചാമ്യഥ
+അമിത്രവീരന്മാരെ
+അമർക്കും
+അരികിൽ
+അരുതരുതിനിയാധി
+അറികയില്ലെങ്കിലും
+അറുതിയസുക്കൾക്കിനി
+അലമലം
+അലസതാവിലസിതമതിനാൽ
+അളവില്ലാ
+അഴിച്ചുവച്ച്‌
+അവസ്ഥയെല്ലാമച്ഛൻ
+അവർക്കു
+അവൾ
+അസഭ്യവാക്കുകളോതുക
+ആജ്ഞാപിക്കുന്നു
+ആദരാൽ
+ആധിജലധിയിൽ
+ആധിവാരിധിയിലാണുകിടക്കയെക്കാൾ
+ആനന്ദം
+ആനയിപ്പതിനു
+ആരവമെന്തിത
+ആളിമാരുമില്ലാ
+ആവതെന്തുള്ളു
+ആഹന്ത
+ആർത്തി
+ആർത്തുനടക്കും
+ഇടയിൽ
+ഇതിനാലുണ്ടതിവൈഷമ്യം
+ഇതിനാൽ
+ഇതിനീഷലുണ്ടാകേണ്ടാ
+ഇതിനേ
+ഇതു
+ഇത്ഥമിന്നു
+ഇനിജ്ജയം
+ഇനിപ്പൊരുന്നതാകിൽ
+ഇനിയോ
+ഇന്ദുവദനേ
+ഇന്ദ്രാദികളും
+ഇന്നരിമ
+ഇന്നു
+ഇരിപ്പെടം
+ഇല്ലിവനേതും
+ഇവ
+ഇഹ
+ഈ
+ഉടനേ
+ഉണ്ടാകേണ്ടാ
+ഉണ്ടാമധർമ്മവുമനൃതോദിതവും
+ഉദന്തമി
+ഉദിക്കുമാറായ്‌
+ഉരത്തെഴും
+ഉല്ലംഘിതാജ്ഞന്മാരെക്കൊല്ലും
+ഊനാതിരിക്തഭേദം
+എങ്ങുനിന്നെഴുന്നരുളി
+എടുത്തു
+എതിർത്തു
+എത്രയുമാഭി
+എനിക്കു
+എനിക്കെന്നു
+എന്തുപോൽ
+എന്നതുകൊണ്ടു
+എന്നരികിൽ
+എന്നിരിക്കവേ
+എന്നെയും
+എന്മനം
+എരിതീയിൽ
+ഏതു
+ഏവ
+ഏവനിതിനു
+ഒന്നല്ലെനിക്കുള്ളാധി
+ഒന്നു
+ഒരു
+ഒരുനാളും
+ഒരുപോതും
+ഒരുഭൂതത്തിനാലേവം
+ഒളിവിലെന്തിരിക്കുന്നു
+ഓർക്കൊല്ലാ
+ഓർത്താലതു
+കങ്കേളിചമ്പകാദികൾ
+കണ്ടില്ലാ
+കഥം
+കഥനീയം
+കഥയ
+കഥയേ
+കദനമവനു
+കദനവും
+കമനി
+കമലയുമെപ്പോലേ
+കമലലോചനാ
+കരുണാകടാക്ഷമെന്നിൽ
+കരുണാഭാജനേ
+കലയ
+കലയും
+കലി
+കല്പിച്ചയച്ചു
+കളക
+കളയൊല്ലാ
+കളി
+കളിക്ക്‌ഇടയിലാണ്‌
+കളിപ്പൊളം
+കാടുതോറും
+കാട്ടിൽ
+കാണാഞ്ഞെൻ
+കാണും
+കാണ്മേൻ
+കാത്തുകൊള്ളേണം
+കാനനമെങ്ങുമുഴന്നു
+കാന്തനെ
+കാന്തനെങ്ങുപോയി
+കാന്തനോടചിരാൽ
+കാന്തൻ
+കാമക്രോധലോഭമോഹസൈന്യമുണ്ടു
+കാമനീയകത്തിൻ
+കാമിനീ
+കാമ്യമല്ലിതുരണ്ടും
+കാര്യം
+കാലം
+കാളയിതെൻപണയം
+കാസി
+കാൺകി
+കിം
+കിന്നരി
+കിന്നരിയല്ല
+കിമപി
+കിമസി
+കിമു
+കിരീടം
+കിഴക്കോ
+കിസലയധാരേ
+കീർത്തി
+കീർത്തിയെമറ്റൊന്നില്ല
+കീർത്ത്യാവഹമറിക
+കുടയും
+കുതിരയോ
+കുയിൽക്കുലവും
+കുറകയോ
+കുലയുവതികൾമൗലിമാലേ
+കുളിർത്തിതു
+കുവലയവിലോചനേ
+കുശലം
+കേ
+കേട്ടാനേ
+കേട്ടു
+കേട്ടുമില്ലാ
+കേതകങ്ങളിൽ
+കേനചിത്‌
+കേളയി
+കേളിനിമേലഹമത്രേ
+കേളെന്നോടേ
+കേവലം
+കേൾ
+കേൾക്കേണമെന്റെയാജ്ഞ
+കേൾപ്പിക്കുന്നു
+കൈക്കലാക്കിയവനെ
+കൈക്കലാക്കുവൻ
+കൈതവമില്ലേതു
+കൈവെടിഞ്ഞാനേ
+കൊടുക്കുമോ
+കൊണ്ടങ്ങു
+കൊണ്ടങ്ങുപോകിൽ
+കൊതി
+കൊതിച്ചതോതുക
+കോളേ
+ക്രീഡാതടാകമിതു
+ക്ഷമിപ്പതിഹ
+ക്ഷിതിപതിത്വമോ
+ക്ഷുത്തൃഡാർത്തിലുപ്തചിത്തമാശ്രയി
+കർമ്മം
+ഖേദം
+ഗതകദനേ
+ഗഹനേ
+ഗുണകൃതരതേ
+ഗോധനവും
+ഗ്രാമ്യം
+ഗർവ്വിതഹംസകോകം
+ഘോരമാകും
+ഘോരവനത്തിൽനിന്നെഴുന്നതും
+ങ്ങൊരുത്തനായ്‌
+ച
+ചഞ്ചുക്കളും
+ചതിപ്പതിന്നിവനാഗതനായ്‌
+ചതിയല്ലാ
+ചത്തുപോകിലാമുടൻ
+ചവിട്ടായ്ക
+ചാമരവും
+ചാമിവ
+ചാരുശീലേ
+ചാരേചെന്നങ്ങാരായേണം
+ചിത്തം
+ചിത്തതാരിലോർത്തുകാൺകിലെത്രയും
+ചിന്തയ
+ചിരം
+ചിരിപ്പതിനവസര
+ചൂതിനു
+ചൂതിനുവാ
+ചൂതിൽ
+ചൂതുകൾ
+ചൂതുപടം
+ചൂതുപൊരുക
+ചൂഴെ
+ചെന്നങ്ങറിയേണം
+ചെന്നൊ
+ചെയ്ക
+ചെയ്തതറിക
+ചെയ്തും
+ചെയ്യുന്ന
+ചെയ്‌വേൻ
+ചെൽവാൻ
+ചേതസാ
+ചേതസി
+ചേരുമെന്നിൽ
+ചേരുവതോ
+ചൈത്രരഥവും
+ചൊന്നതാചരിപ്പോരിലുന്നതാ
+ചൊന്നാലറിയിക്കാമോ
+ചൊല്ക
+ചൊല്ലാം
+ച്ചത്തൽമൂലം
+ജഗദധിപതേ
+ജനങ്ങളും
+ജനപദവും
+ജനയേ
+ജന്മം
+ജയത്തിൽ
+ജയിച്ചതും
+ജയിച്ചോർക്കു
+ജളപ്രഭോ
+ജാനേ
+ജ്യേഷ്ഠൻ
+ഝടിതി
+ഞങ്ങളെ
+ഞങ്ങളെക്കൊൽ‌വാൻ
+ഞങ്ങളെല്ലാം
+ഞങ്ങൾ
+ഞാ
+ഞാനവളെ
+ഞാനവൻ
+ഞാനശേഷമോർത്തതിശോക
+ഞാനിന്നു
+ഞാനിഹ
+ഞാനുറങ്ങിനേൻ
+ഞാനെന്തേ
+ഞാനോ
+ഞാൻ
+ഞാൻതന്നെ
+ടുത്ത
+തതിത്തരം
+തത്ത്വം
+തദനുമേയം
+തനയ
+തനയേ
+തനിയേ
+തന്നിലുണ്ടു
+തന്നെ
+തന്നൊരു
+തന്വി
+തപം
+തപ്തതോയസിക്തമാലതീ
+തരം
+തരിക
+തരുണീമണി
+തരുന്നു
+തളരുന്നിതല്ലോ
+തളിരൊളിമെയ്യിതൊന്നു
+തളിർത്തുമല്ലാതെ
+തവ
+തവതരമില്ലാ
+തസ്യ
+താത
+താനാരെന്നെന്നൊടു
+താനും
+താനേ
+താനേതൊരുത്തനെന്നു
+താനൊരിടംനോക്കി
+താമസിക്കരുതു
+തിമിരം
+തിരഞ്ഞവരറിയിക്കും
+തിരവാനും
+തിരസ്കരിണിയുള്ള
+തുടരുന്നു
+തെക്കോ
+തേ
+തേടും
+തേടുവനോ
+തൊരുനാളും
+തൊഴുതേൻ
+തോയും
+തോറ്റാൽ
+തോറ്റു
+ത്രപയൊന്നേ
+തൻ
+ദമയന്തി
+ദമയന്തിയോടൊപ്പം
+ദമസോദരീ
+ദയാസിന്ധോ
+ദയിത
+ദയിതേ
+ദശാദോഷമതേഷാ
+ദഹനശമനവരുണൈരമാ
+ദിശി
+ദുഷ്കരമായിട്ടൊന്നുമില്ല
+ദുർഗ്ഗതമേ
+ദുർവ്വാക്കുകൾ
+ദൂരത്തുന്നാരും
+ദൂരെയിരുന്നാൽനേരറിയാമോ
+ദൂരെയെല്ലാം
+ദൃഢംജാനേ
+ദേവദൈത്യമാനുഷേഷു
+ദേവനം
+ദേവനിർമ്മിതം
+ദേവനേ
+ദേവിയല്ലറിക
+ദേവീ
+ദൈവദോഷം
+ദ്യുത
+ധന
+ധനവും
+ധന്യനായതു
+ധരണിയിലുള്ള
+ധരിച്ചു
+ധരിത്രിയെച്ചെറിയന്നേ
+ധരിപ്പതിനരിപ്പമല്ലോ
+ധാന്യം
+ധാമം
+ധർമ്മ
+ന
+നക്തമാലമസ്തമൂലമിവ
+നഗരവും
+നടകൊണ്ടാലും
+നടന്നാനോ
+നടന്നുപോം
+നടന്നൂഢവിവശഭാവം
+നടുവിൽ
+നന്ദനവനമരമ്യം
+നന്നേ
+നമുക്കില്ലാ
+നമുക്കിളപ്പമായ്‌വരും
+നമുക്കു
+നമുക്കും
+നമുക്കെല്ലാം
+നമുക്കൊന്നുള്ളു
+നമ്മെ
+നമ്മെക്കാണ്മാൻ
+നമ്മെക്കൊണ്ടുപകാരം
+നല്ല
+നല്ലൂ
+നള
+നളം
+നളദയിതേ
+നളനിൽ
+നളനു
+നളനും
+നളനെച്ചെന്നു
+നളനെവെന്നു
+നളിനാക്ഷ
+നളൻ
+നവയൗവനവും
+നഷ്ടം
+നഹി
+നാം
+നാഗരികജനങ്ങളും
+നാടതിലിരിക്കിലോ
+നാടു
+നാടും
+നാടുമൊക്കെയും
+നാട്ടിലോ
+നാട്ടിൻ
+നാഥനാരിനിക്കെന്നധുനാ
+നാമം
+നാമിങ്ങിരുന്നാലോ
+നാരിയോടും
+നാലുദിക്കും
+നാശുത്വം
+നാൾ
+നാൾതോറും
+നിങ്ങടെ
+നിങ്ങളെ
+നിങ്ങൾക്കെന്തോന്നുവേണ്ടൂ
+നിജജനേ
+നിധിസ്ഥലങ്ങളു
+നിനക്കവിടെയും
+നിനക്കില്ലിനി
+നിനക്കു
+നിനക്കുതനയരുണ്ടെന്നിരിക്കിലും
+നിനയാതെ
+നിനയ്ക്കിൽ
+നിനയ്ക്കുന്നാകിൽ
+നിന്നതാരെ
+നിന്നു
+നിന്നുടെ
+നിന്നെ
+നിന്നെക്കണ്ടതിനാലേ
+നിന്നെക്കൈവെടിഞ്ഞു
+നിന്നെച്ചതിച്ച
+നിന്നെയും
+നിന്നൊടെടോ
+നിന്റെ
+നിയെൻ
+നിയൊരുമിക്കും
+നിരത്തുക
+നിരത്തുകമ്പൊടു
+നിരൂപിതമല്ലേ
+നിറയുന്നു
+നിലച്ചു
+നില്ലാ
+നിളപ്പമല്പവും
+നിശാമദ്ധ്യേ
+നിശ്ചിതമാമിഹ
+നിഷധസദനേ
+നിഷ്ഫലമാക്കരുതേ
+നിസ്ത്രപ
+നിസ്ത്രപനാമിവനെസ്സമ്മാനിക്കൊല്ലാ
+നിൻ
+നിർവൃതികരങ്ങളിലീവണ്ണം
+നിൽക്ക
+നീ
+നീചത്വം
+നീയപ്പോലേ
+നീയപ്രതിമേ
+നീയല്ലേ
+നീയിഹ
+നീയു
+നീയും
+നീയെന്തഴൽ
+നീയെന്തെന്നിൽ
+നീയെന്നനുജൻ
+നീയെന്നെ
+നീരസമത്രേ
+നുറപ്പു
+നൂനം
+നൂനമീവിപത്തെല്ലാം
+നേരെ
+നേരേ
+നേർത്തിരിയെന്നൊടു
+നൈഷധേന്ദ്രൻ
+നൈഷധൻ
+ന്തഭിമതം
+ന്നതീവ
+നൽകുവൻ
+പകച്ചുപോയിതോ
+പക്ഷങ്ങൾ
+പക്ഷികളിതാ
+പടംനോക്കിയുടൻ
+പടിഞ്ഞാറോ
+പട്ടും
+പണയ
+പതിതനായ്‌
+പതിപ്രിയാചരണാവഹിതായെന്നതതിപ്രയാസമൃതേ
+പരമരണണീയങ്ങൾ
+പരമാർത്ഥമെല്ലാം
+പരവശപ്പെട്ടു
+പരിചെഴും
+പരിണാമമീദൃശമോ
+പരിഭൂതൻ
+പരിഷകൾ
+പരിഹാസകലവികളാലേ
+പറകി
+പറഞ്ഞു
+പറയാം
+പറിപ്പാൻ
+പലരുണ്ടേ
+പലവക
+പല്ലവാംഗീ
+പല്ലവി
+പഴുതായോ
+പഴുതേ
+പാടലപടലിയിൽ
+പാട്ടി
+പാദയുഗമാദരേണ
+പാരം
+പാരമുദിക്കും
+പാരിലെന്നെയിന്നാരറിയാത്തവർ
+പാവനചരിതേ
+പാർത്തിരിയാതെ
+പാർത്ഥിവ
+പാർമേൽ
+പിണഞ്ഞൂ
+പിന്നെ
+പിരിഞ്ഞതിലലം
+പിരിയാതെയിവിടെയും
+പിറന്നേനേ
+പിൻപേ
+പുക്കാനേ
+പുകൾ
+പുതിയ
+പുത്രനത്രേ
+പുനരാരെന്നും
+പുനരെന്നെയും
+പുരത്തിൽ
+പുരവാസികശോ��ായി
+പുരവും
+പുരവൈരി
+പുരാപുണ്യം
+പുരിയിലോ
+പുരുഭുതികളെപ്പോലെ
+പുറത്തു
+പുറപ്പെട്ടേനേ
+പുഷ്കര
+പുഷ്കരനെ
+പുഷ്കരൻ
+പുഷ്കലമാധിപത്യം
+പുഷ്പകരനു
+പൂണ്ടാചരിപ്പൻ
+പൂണ്മേൻ
+പൂത്തും
+പൂത്തുനില്ക്കുന്നു
+പെടുന്നാകിലുടൻ
+പെരുത്ത
+പെരുത്തെഴും
+പെരുമാറുന്നതു
+പേടി
+പേർത്തും
+പേർത്തുമൊന്നില്ലിവിടെക്കാണ്മാൻ
+പൊന്മയക്രീഡാ
+പൊഴുതിലംബുജവനിക്കുള്ളോ
+പൊൻനിറമാം
+പോകുന്നു
+പോയതുകൊണ്ടാടലേതുമില്ല
+പോയതുമൊഴിയാതോ
+പോയി
+പോയ്‌
+പോയ്‌വരുവാനും
+പോരാ
+പോരാളികളാധിതമന്മഥ
+പോരിക
+പോരിലണഞ്ഞാലാരിലുമുണ്ടോ
+പോൽ
+പ്രജകളെ
+പ്രതികരിഷ്യാമി
+പ്രവാഹത്തിൽ
+പ്രാഗൽഭ്യം
+പ്രാണനാഥൻതന്നെ
+പ്രാണേശനോടും
+പ്രിയനെ
+പ്രിയൻ
+പ്രീതി
+പ്രോഷിതേതി
+പർവ്വതമെത്രയും
+ഫലിച്ചു
+ബന്ധമെന്തെനിക്കേവം
+ബന്ധവോ
+ബഹു
+ബഹുധനങ്ങൾ
+ബാലേ
+ബാഹുജനെന്നുള്ളതേ
+ബുദ്ധികൃ
+ബുദ്ധിപൂർവമിത്യുപായനൈപുണി
+ബ്രൂഷ
+ഭക്ഷണാർത്ഥമിക്ഷണേന
+ഭഗവാനും
+ഭണ്ഡാഗാരവും
+ഭയം
+ഭരിച്ചതും
+ഭവദുപകൃതേരഹം
+ഭാഗധേയമോ
+ഭാഗ്യം
+ഭാവമിളപ്പെട്ടില്ലയോ
+ഭാവിച്ചതും
+ഭാഷണം
+ഭീമസുതയെന്നൊരു
+ഭീരുത
+ഭീരുതയെന്നേ
+ഭീഷിതാസി
+ഭൂദേവർ
+ഭൂപന്മാർ
+ഭൂപാലന്വയത്തിൽ
+ഭൂമി
+ഭൂമിയെന്നതുപോലെ
+ഭൂയോ
+ഭൂരിധനവും
+ഭൂരുഹങ്ങളിൽ
+ഭൂഷണവും
+ഭൂഷിതാ
+ഭൂസുരാനോരോ
+ഭൃംഗാളി
+ഭേദമെന്തിവിടെ
+ഭൈമിതടയുമ്പോൾ
+ഭൈമിയും
+ഭൈമിയെയുമൊല്ലാ
+ഭൈമീ
+ഭൗമനെന്നിരുന്നു
+മംഗനമാർചരണങ്ങൾ
+മംഗലമേ
+മംഗലരൂപിണി
+മംഗലാകൃതേ
+മണി
+മതംതേഹം
+മതിപ്രഗൽഭത
+മതിപ്രിയാസി
+മതിൽപ്പരം
+മത്തകോകിലമായൊരുദ്യാനമതിൽ
+മത്സഹായമുണ്ടായാലേവനും
+മദനന്റെ
+മദീയമതേ
+മധുരത
+മനതാരിലുണ്ടൊന്നുന്മിഷിതം
+മനോരഥം
+മന്ത്രിയെവിളിച്ച്‌
+മന്നിലീവണ്ണമുണ്ടോ
+മന്യേ
+മമ
+മമത
+മരവുരി
+മരിക്കിലും
+മരുവി
+മരുവും
+മരുവുക
+മറ്റൊന്നില്ല
+മല്ലാക്ഷി
+മഹാജനങ്ങളും
+മാം
+മാഞ്ഞിതോ
+മാഞ്ഞുപോയിതോ
+മാഞ്ഞൂ
+മാനസി
+മാനേലുംകണ്ണികൾമണി
+മാമപി
+മായും
+മിണ്ടാതേ
+മിതി
+മിത്രം
+മിരിക്ക
+മിരിപ്പതു
+മിളപ്പമാകിലുമനുഭവനീയം
+മുഖമഭിമുഖം
+മുന്ന
+മുന്നമേ
+മുന്നേ
+മുറ്റും
+മുഴുകിയെൻമാനസം
+മുഴുകുമാറായിതിദാനീം
+മുഹുരപി
+മുൻപത്തെകാലത്തിൽ
+മൂലം
+മൃഗാങ്കനുദിക്കയല്ലീ
+മൃത്യുവൈരിഭക്തി
+മേ
+മേന്മേൽ
+മേൽക്കുമേലേ
+മൊന്നല്ല
+മൊഴി
+മോഹാർണ്ണവത്തിൻ
+യദി
+യസ്തമിപ്പിച്ചതും
+യാമി
+യാസി
+യെല്ലാമെനിക്കു
+യോഗ്യം
+യോഷമാർമകുടഭൂഷയായൊരുനി
+രക്ഷിപ്പാൻ
+രതിപ്രഭേ
+രത്തലെന���നിയേവാഴ്ക
+രഥമാളാന
+രമിക്ക
+രഴലെ
+രാജ്യം
+രാജ്യമൊരിക്കലും
+രാമ്യമിതിനുണ്ടതു
+രുജാവേശാവശൈവാശു
+രൂപത്തിന്‌
+റിയുന്നതോ
+ലബ്ധമല്ലോ
+ലബ്ധമുല്ലാസത്തോടി
+ലഭിച്ചു
+ലാളിതമനിശം
+ലിരുത്തി
+ലേഷഞാൻ
+ലൊഴിഞ്ഞു
+ലോഭിത
+ളെനിക്കിപ്പോളാധി
+വക്രയമില്ലെന്നാകിലെന്തെടോ
+വചനം
+വഞ്ചകനവൻ
+വഞ്ചനവും
+വടക്കോ
+വണങ്ങുമോ
+വണ്ടിൻചാർത്തും
+വദ
+വന
+വനം
+വനത്തിലേക്കു
+വനഭുവി
+വനവാസം
+വനേ
+വന്നതെന്തെന്നാരറിഞ്ഞു
+വന്നിടരെല്ലാം
+വന്നിതിജ്ജനവും
+വന്നിതു
+വന്നീടിനതദ്ഭുതമദ്ഭുതമദ്ഭുതമേ
+വന്നു
+വന്നെതിർപ്പതിതുകാൺ
+വയ്ക്കചൂതിനായെന്നെപ്പണയം
+വയ്ക്കവേണമെങ്കിലെന്തുചെയ്‌വതു
+വയ്ക്കൊരു
+വരാഞ്ഞൂ
+വരായ്കിൽ
+വരിക
+വരികയില്ല
+വരികിലേറെ
+വരിച്ചു
+വരിപ്പുലി
+വരു
+വരുത്തി
+വരുവതതിനിതെന്നുമറിക
+വരുവാൻ
+വല
+വലച്ചു
+വലിപ്പമാകിലുമനല്പമാ
+വളരുന്നു
+വഴിപോലേ
+വശാലിപ്പോൾ
+വസന്തമായാതം
+വസിക്കുമോരോ
+വസ്തുസമ്പത്തുകളും
+വസ്ത്രതണ്ഡുലാദികൾ
+വസ്ത്രമിതു
+വസ്ത്രമേതുദുത്‌സൃജാമി
+വഹസി
+വാഞ്ഛിതം
+വാണീടാം
+വാതു
+വാതുചൊല്ലിപ്പൊരുതുചൂതു
+വാതുചൊൽക
+വാമ്യം
+വാളും
+വാഴ്ക
+വാഴ്ത്തുന്നു
+വാസത്തിനു
+വാഹനങ്ങൾ
+വികല്പമിഹ
+വികിരങ്ങളല്ലാ
+വികൃതഹൃദയ
+വിക്രമേണ
+വിചാരിച്ചോളവും
+വിചിത്രം
+വിജനസംവാസം
+വിജയം
+വിട
+വിടുക
+വിടുന്നോളല്ലിവൾ
+വിടുമോ
+വിട്ടൗചിത്യം
+വിദർഭനന്ദിനി
+വിനാ
+വിനോദനായ
+വിപദി
+വിപിനേ
+വിപുലമഹിമ
+വിഫലം
+വിഭവം
+വിഭൂതികളും
+വിമുഖനറികിൽ
+വിരവിൽ
+വിരസത
+വിരിഞ്ചവിരചിതമവഞ്ചനമവനിയിൽ
+വിരുതുള്ള
+വിലാസിനി
+വില്ലുമമ്പും
+വിളംബകാലത്തിൽ
+വിളിപ്പതും
+വിവിധമാം
+വിശദം
+വിശാമീശ
+വിശേഷിച്ചുണ്ടെനിക്കാധി
+വിശ്രാണിക്കൊല്ലാ
+വിഷമമീദശാവന്തരം
+വിസ്തരിച്ചുപറയേണ്ടതെന്തിവിടെ
+വിസ്തരിപ്പിച്ചതും
+വിസ്തൃതം
+വീണു
+വീതഖേദമിഹ
+വീരവരാണാം
+വീരസേനസൂനോ
+വീരൻ
+വൃത്തമായി
+വൃഥാ
+വൃഷത്തിനെത്തരുമാറല്ലയോ
+വെടിഞ്ഞെന്നെ
+വെറുതേ
+വെൽവാൻ
+വേണ്ടും
+വേറെ
+വേലയിതെല്ലാം
+വേഴ്ച
+വേഷമെന്തിതതിദയനീയം
+വേർ
+വേർപിരിഞ്ഞാധി
+വൈരസേനിക്കിഹ
+വൈരസേനേ
+വൈരി
+വൈരികളായ്‌
+വൈരിണീ
+വൈരിവിപിനദാവകൃശാനോ
+വ്യയത്തിലുണ്ടോ
+വ്രീളയിതിനില്ലാഞ്ഞോ
+വൻകാട്ടിന്നകത്ത
+വൻപടയും
+ശങ്ക
+ശങ്കേ
+ശമയേ
+ശയായ്പ്പോയി
+ശുഷ്കകാനനേ
+ശൃണു
+ശേഷമെന്നൊടിതശേഷവും
+സംഹരിക്കും
+സംഹരിച്ചോ
+സങ്കടേ
+സഞ്ചരിപ്പതിനിടയിലോ
+സതി
+സദനേ
+സന്തത
+സന്താപം
+സന്ദേഹമില്ല
+സപദി
+സമയേ
+��മാശ്വസിതം
+സമ്പ്രതി
+സാധിപ്പിക്കും
+സാമ്പ്രതം
+സാമ്യം
+സാമ്യമകന്നോരുദ്യാനം
+സാർവ
+സുഖം
+സുഖമെനിക്കഹോ
+സുഖമോ
+സുതനേ
+സുദതി
+സുദിനമിന്നു
+സുദേവ
+സുദേവനാം
+സുന്ദരി
+സുന്ദരീ
+സുമുഖി
+സുരനായകവരത്തിൽ
+സുരപതിക്കുടനേ
+സുരപതേ
+സുരാധിപ
+സുസഹായം
+സേവിച്ചതും
+സൈനികമോ
+സോദരസഖമറിക
+സ്മരപരവശനായി
+സ്വാമിയതിനു
+സ്വൈരമായിരുന്ന
+സർവ
+സർവ്വർത്തുരമണീയമേതത്‌
+ഹരിത്പതികൾ
+ഹൃതമായി
+ഹൃദയേ
+ഹേ
+ൻ

preprocessor_config.json

@@ -0,0 +1,8 @@
+{
+  "do_normalize": true,
+  "feature_size": 1,
+  "padding_side": "right",
+  "padding_value": 0.0,
+  "return_attention_mask": true,
+  "sampling_rate": 16000
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b5c39014b08099f35aa8eab263323ff24c61f959eddd9d50dc9716ab0df8afee
+size 1262245399

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "unk_token": "[UNK]", "pad_token": "[PAD]"}

tokenizer_config.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "bos_token": "<s>", "eos_token": "</s>", "pad_token": "[PAD]", "do_lower_case": false, "word_delimiter_token": "|"}

vocab.json

@@ -0,0 +1 @@
+{"ർ": 0, "സ": 1, "ം": 2, "ഋ": 3, "ഹ": 4, "ധ": 5, "ഢ": 6, "ഠ": 7, "ട": 8, "പ": 9, "യ": 10, "ീ": 11, "ക": 12, "ര": 14, "ഏ": 15, "ഉ": 16, "ൃ": 17, "ൺ": 18, "ണ": 19, "ി": 20, "‌": 21, "ൽ": 22, "ൊ": 23, "ല": 24, "ൗ": 25, "ഘ": 26, "ൌ": 27, "ദ": 28, "ബ": 29, "ഛ": 30, "ഝ": 31, "ഊ": 32, "ന": 33, "ോ": 34, "൱": 35, "ഇ": 36, "ഐ": 37, "ൈ": 38, "ഃ": 39, "ാ": 40, "ച": 41, "േ": 42, "ഥ": 43, "ഡ": 44, "എ": 45, "ഷ": 46, "ആ": 47, "അ": 48, "മ": 49, "ഒ": 50, "ശ": 51, "ഖ": 52, "ഫ": 53, "ു": 54, "ഗ": 55, "ള": 56, "ഓ": 57, "ൂ": 58, "വ": 59, "ഞ": 60, "റ": 61, "ഭ": 62, "ൻ": 63, "ൾ": 64, "ഈ": 65, "്": 66, "െ": 67, "ങ": 68, "ത": 69, "ജ": 70, "‍": 71, "ഔ": 72, "ഴ": 73, "|": 13, "[UNK]": 74, "[PAD]": 75}