Adding Evaluation

evaluations/eval.py

@@ -0,0 +1,138 @@
+
+#!/usr/bin/env python3
+import argparse
+import re
+from typing import Dict
+
+import torch
+from datasets import Audio, Dataset, load_dataset, load_metric
+
+from transformers import AutoFeatureExtractor, pipeline
+
+
+def log_results(result: Dataset, args: Dict[str, str]):
+    """DO NOT CHANGE. This function computes and logs the result metrics."""
+
+    logdir = args.log_dir
+    dataset_id = "_".join(args.dataset.split("/") + [args.config, args.split])
+
+    # load metric
+    wer = load_metric("wer")
+    cer = load_metric("cer")
+
+    # compute metrics
+    wer_result = wer.compute(references=result["target"], predictions=result["prediction"])
+    cer_result = cer.compute(references=result["target"], predictions=result["prediction"])
+
+    # print & log results
+    result_str = f"WER: {wer_result}\n" f"CER: {cer_result}"
+    print(result_str)
+
+    with open(f"{logdir}/{dataset_id}_eval_results.txt", "w") as f:
+        f.write(result_str)
+
+    # log all results in text file. Possibly interesting for analysis
+    if logdir is not None:
+        pred_file = f"log_{dataset_id}_predictions.txt"
+        target_file = f"log_{dataset_id}_targets.txt"
+
+        with open(logdir + '/' + pred_file, "w") as p, open(logdir+'/'+target_file, "w") as t:
+
+            # mapping function to write output
+            def write_to_file(batch, i):
+                p.write(f"{i}" + "\n")
+                p.write(batch["prediction"] + "\n")
+                t.write(f"{i}" + "\n")
+                t.write(batch["target"] + "\n")
+
+            result.map(write_to_file, with_indices=True)
+
+
+def normalize_text(text: str) -> str:
+    """DO ADAPT FOR YOUR USE CASE. this function normalizes the target text."""
+
+    chars_to_ignore_regex = '[,?.!\-\;\:"“%‘”�—’…–]'  # noqa: W605 IMPORTANT: this should correspond to the chars that were ignored during training
+
+    text = re.sub(chars_to_ignore_regex, "", text.lower())
+
+    # In addition, we can normalize the target text, e.g. removing new lines characters etc...
+    # note that order is important here!
+    token_sequences_to_ignore = ["\n\n", "\n", "   ", "  "]
+
+    for t in token_sequences_to_ignore:
+        text = " ".join(text.split(t))
+
+    return text
+
+
+def main(args):
+    # load dataset
+    dataset = load_dataset(args.dataset, args.config, split=args.split, use_auth_token=True)
+
+    # for testing: only process the first two examples as a test
+    # dataset = dataset.select(range(10))
+
+    # load processor
+    feature_extractor = AutoFeatureExtractor.from_pretrained(args.model_id)
+    sampling_rate = feature_extractor.sampling_rate
+
+    # resample audio
+    dataset = dataset.cast_column("audio", Audio(sampling_rate=sampling_rate))
+
+    # load eval pipeline
+    if args.device is None:
+        args.device = 0 if torch.cuda.is_available() else -1
+    asr = pipeline("automatic-speech-recognition", model=args.model_id, device=args.device)
+
+    # map function to decode audio
+    def map_to_pred(batch):
+        prediction = asr(
+            batch["audio"]["array"],  chunk_length_s=args.chunk_length_s, stride_length_s=args.stride_length_s
+        )
+
+        batch["prediction"] = prediction["text"]
+        batch["target"] = normalize_text(batch["sentence"])
+        return batch
+
+    # run inference on all examples
+    result = dataset.map(map_to_pred, remove_columns=dataset.column_names)
+
+    # compute and log_results
+    # do not change function below
+    log_results(result, args)
+
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser()
+
+    parser.add_argument(
+        "--model_id", type=str, required=True, help="Model identifier. Should be loadable with 🤗 Transformers"
+    )
+    parser.add_argument(
+        "--dataset",
+        type=str,
+        required=True,
+        help="Dataset name to evaluate the `model_id`. Should be loadable with 🤗 Datasets",
+    )
+    parser.add_argument(
+        "--config", type=str, required=True, help="Config of the dataset. *E.g.* `'en'`  for Common Voice"
+    )
+    parser.add_argument("--split", type=str, required=True, help="Split of the dataset. *E.g.* `'test'`")
+    parser.add_argument(
+        "--chunk_length_s", type=float, default=None, help="Chunk length in seconds. Defaults to 5 seconds."
+    )
+    parser.add_argument(
+        "--stride_length_s", type=float, default=None, help="Stride of the audio chunks. Defaults to 1 second."
+    )
+    parser.add_argument(
+        "--log_dir", required=True, type=str, help="Log Directory"
+    )
+    parser.add_argument(
+        "--device",
+        type=int,
+        default=None,
+        help="The device to run the pipeline on. -1 for CPU (default), 0 for the first GPU and so on.",
+    )
+    args = parser.parse_args()
+
+    main(args)

evaluations/eval.sh

@@ -0,0 +1,17 @@
+
+model_id='Harveenchadha/hindi_base_wav2vec2'
+lang='hi'
+split='test'
+with_lm=1
+
+if [ "$with_lm" == 0 ]; then
+	mkdir -p without_lm
+	logdir='without_lm'
+else
+	mkdir -p with_lm
+	logdir='with_lm'
+fi
+
+python eval.py --model_id ${model_id} --dataset common_voice --config ${lang} --split ${split} --log_dir $logdir
+python eval.py --model_id ${model_id} --dataset mozilla-foundation/common_voice_7_0 --config ${lang} --split ${split} --log_dir $logdir
+python eval.py --model_id ${model_id} --dataset mozilla-foundation/common_voice_8_0 --config ${lang} --split ${split} --log_dir $logdir	

evaluations/with_lm/common_voice_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.31554524361948955
+CER: 0.09944751381215469

evaluations/with_lm/log_common_voice_hi_test_predictions.txt

@@ -0,0 +1,254 @@
+0
+कांस्टेबल बन मनोज बाज पर दिखा रहे हैं तांडव
+1
+चाय पी रहा है
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जेक मुझसे 3 साल बडा है
+4
+एक पागल इंसान को अपने किए धरे के लिए जिम्मेदार नहीं ठहराया जा सकता
+5
+कौन ज्यादा तेज भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया
+7
+उन्होंने एक दूसरे को देखा
+8
+अभी पोलैंड में क्या हो रहा है
+9
+मैं सफर पर उसके साथ गया
+10
+उसने मेरे स्तन पकड लिए
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी पाटकर जी पर शीशे तोडे
+13
+हमारे पास तो बस चाय हैं
+14
+उसे अपना स्कूल बहुत पसंद है
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है
+16
+नतीजे के लिए बेचैन है
+17
+लो तुम्हारे दोस्त आ रहे हैं
+18
+लगता है मुझे सहायता की आवश्यकता है
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डांटा
+20
+यहां आसपास में एक झोपडी हुआ करती थी
+21
+गर्भवती ने बुर्का क्या बहाना भर दंगा
+22
+बच्चे बगीचे में खेल रहे हैं
+23
+स्त्री पर बहुत कम लोग रहते हैं
+24
+तुम्हें थोडा ज्यादा समझदार होना चाहिए
+25
+तुम यहाँ सारे के सारे पेड़ काट डाले क्या
+26
+वो मुझ पर गुस्सा हो गया
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्यालयों की जांच एसआईटी को
+28
+काला रंग तुम पर जचता है
+29
+वो शादी शुदा नहीं है
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठन कोटी जी से घाव
+31
+मुझे अपने पिता की गरीबी पर सर नहीं आती है
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वो मुझसे 2 साल छोटी है
+35
+मेरी नजर इन दिनों कमजोर हो रही है
+36
+वो 3 घंटों में वापस आएगा
+37
+वे पांच चाय पीती है
+38
+महाराष्ट्र पब्लिक सर्विस कमीशन में वैकेंसी
+39
+उसने सब कुछ अपने आप किया
+40
+दुनिया बदल गई है
+41
+या आपका फैसला नहीं है
+42
+मैं सीरिया से हूँ
+43
+हम अंदर आ रहे हैं
+44
+आप किसके साथ खा रही हैं
+45
+वो बहुत ऐसे वाली औरत है
+46
+यह कुर्सी आपकी है
+47
+मैं अभी छोड़ने वाली नहीं हूं
+48
+चाय वाय कुछ लोग
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है
+50
+दरवाजा खोलिए
+51
+मुझे मूर्ख बनना पसंद नहीं है
+52
+हम एक फिल्म देख रहे हैं
+53
+वोटर छोड़ दो
+54
+मुझे एक कप चाय चाहिए
+55
+हमें नहीं पता हम कहां है
+56
+पाकिस्तान में आतंकी हाफिज सईद के बेटे पर भी आतंकवादी हमें का खतरा
+57
+मलयालम के आशीर्वाद पर अखिलेश बोले नेताजी जिंदाबाद शिवपाल नदारद
+58
+मैं स्कूल जाना नहीं चाहता हूँ
+59
+आम चुनाव के लिए कांग्रेस से तर्क जाट आरक्षण से फ��र वो बटोरे की कांग्रेस
+60
+उसने प्रतियोगिता फिर से जीत ली
+61
+किसी ने मेरी पतंग काट है
+62
+हम सब टॉम को जानते हैं
+63
+अफ्रीका में कई शेर है
+64
+आज के युवाओं को नहीं मालूम पहले विश्व युद्ध की तारीख है
+65
+मुंबई भारतीय राज्य महाराष्ट्र की राजधानी है
+66
+उसने मुझे वह नियम समझाया
+67
+मेरे पापा आम तौर पर छह बजे घर लौट कर आते हैं
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंद
+69
+तूफान ने पूरे नगर को नष्ट कर दिया
+70
+हम तो बस दोस्त हैं
+71
+हमारी मीटिंग कभी कबार ही टाइम पर शुरू होती है
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडकर यूनिवर्सिटी शुरू करेगी ऑनलाइन कोर्स
+74
+विपक्ष का वार केजरीवाल किसी नौटंकी पर उतरे शिवराज
+75
+वह वहां जाने से डरता था
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी
+78
+चाहे वह कुछ लेंगे आप
+79
+उसका दिल साफ है
+80
+महिलाएं दुनिया बदल देती है
+81
+ती हर एक संस्कृति का एक सुंदर भाग है
+82
+मुझे अंग्रेजी और संगीत पसंद है
+83
+ये टिकट कारोबार में आईआरसीटीसी को मिल सकती है चुनौती
+84
+वह गया और और रोया
+85
+सब लोग उस पर से
+86
+मंडे से बेहतर टेस्ट क्रिकेटर है कोली को
+87
+हम को क्या हुआ है
+88
+शनिवार हफ्ते का आखिरी दिन होता है
+89
+मेरा सब किताब जान है
+90
+अभी भी स्कूल में है
+91
+मुझे बस उसका नाम बता
+92
+वह से करने लगा
+93
+वह 10 साल का लड़का था
+94
+मेरे लिए तो ही जगह बनाओगे क्या
+95
+दोन को कुछ पिलाओ
+96
+कुछ कुछ लोचा है में सनी लियोन का बिकिनी लुक
+97
+यह रही आपकी चाबी
+98
+टॉम ने आकाश की तरफ देखा
+99
+मैं शहर का नक्शा खरीदना चाहता हूं
+100
+मेरी छड़ी कहां है
+101
+इस वजह से हुआ दावते इसकी रिलीज में फेर बदल
+102
+उस संस्कृति में लोग रंग बिरंगी कपड़े पहनते हैं
+103
+यह सशक्त लोकपाल नहीं है लालू यादव
+104
+इसलिए क्योंकि तुम लड़की हो
+105
+कौन बनेगी एमएस धोनी की भाई आलिया भट या श्रद्धा कपूर
+106
+गोहाटी हाईकोर्ट में वैकेंसी
+107
+बिक्री कहां है
+108
+पहली बार कैबिनेट विस्तार परिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+में एक बार फिर होगी आफत की बारिश अगले 2 दिन का अलर्ट
+110
+वह मेरी बात नहीं सुनेगा
+111
+मैं इस शोर को और बर्दाश नहीं कर सकती
+112
+इससे मेरा कोई लेना देना नहीं है
+113
+तुम मरोगे
+114
+मैं इस जिंदगी को जी कर थक गया हूं
+115
+बाद में मिलेंगे
+116
+दुकान आज खुली नहीं है
+117
+वह कौन सी चिडिया है
+118
+गुजरात में अमित शाह की गाडी के ऊपर पाटीदारों ने फेंके अंडे
+119
+पेट्रोल के दामों में विधि से ममता ना पुर
+120
+काम स्वार्थी था
+121
+दोनों देख रही है
+122
+ये तेरी चाय
+123
+जर्मनी का था कि रोज योग से मार रहे
+124
+दिल्ली एनसीआर में सुहावने मौसम के बीच एग्जाम बना लोगों के लिए मुसीबत
+125
+महिलाओं के लिए स्किल है
+126
+बरसों तक जैसे खून समझती रही दिया बाद में निकला कर पाई

evaluations/with_lm/log_common_voice_hi_test_targets.txt

@@ -0,0 +1,254 @@
+0
+कांस्टेबल बन मनोज बाजपेयी दिखा रहे हैं 'तांडव'
+1
+वह चाय पी रहा है।
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जैक मुझसे तीन साल बड़ा है।
+4
+एक पागल इनसान को अपने कियेधरे के लिए ज़िम्मेदार नहीं ठहराया जा सकता।
+5
+कौन ज़्यादा तेज़ भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया।
+7
+उन्होंने एकदूसरे को देखा।
+8
+अभी पोलैंड में क्या हो रहा है
+9
+मैं सफ़र पर उसके साथ गया।
+10
+उसने मेरे स्तन पकड़ लिये।
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी फाड़कर जीप के शीशे तोड़े
+13
+हमारे पास तो बस चाय है।
+14
+उसे अपना स्कूल बहुत पसंद है।
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है।
+16
+वह नतीजे के लिए बेचैन है।
+17
+लुई तुम्हारे दोस्त आ रहे हैं।
+18
+लगता है मुझे सहायता की आवश्यकता है।
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डाँटा।
+20
+यहाँ आसपास में एक झोपड़ी हुआ करती थी।
+21
+गर्भवती ने बुरका क्या पहाना भड़क गया दंगा
+22
+बच्चे बगीचे में खेल रहे हैं।
+23
+इस द्वीप पर बहुत कम लोग रहते हैं।
+24
+तुम्हें थोड़ा ज़्यादा समझदार होना चाहिए।
+25
+तुम यहाँ सारे के सारे पेड़ काट डालोगे क्या
+26
+वह मुझपर गुस्सा हो गया।
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्यालयों की जांच एसआईटी को
+28
+काला रंग तुम पर जँचता है।
+29
+वह शादीशुदा नहीं है।
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठानकोट जैसा घाव
+31
+मुझे अपने पिता की ग़रीबी पर शर्म नहीं आती है।
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वह मुझसे दो साल छोटी है।
+35
+मेरी नज़र इन दिनों कमज़ोर हो रही है।
+36
+वह तीन घंटों में वापस आएगा।
+37
+वे पाँच बजे चाय पीतीं हैं।
+38
+महाराष्ट्र पब्लिक सर्विस कमीशन में वैकेंसी
+39
+उसने सब कुछ अपनेआप किया।
+40
+दुनिया बदल गई है।
+41
+यह आपका फ़ैसला नहीं है।
+42
+मैं सीरिया से हूँ।
+43
+हम अंदर आ रहे हैं।
+44
+आप किसके साथ खा रहीं हैं
+45
+वह बहुत पैसेवाली औरत है।
+46
+यह कुर्सी आपकी है।
+47
+मैं अभी छोड़ने वाली नहीं हूँ।
+48
+चायवाय कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है।
+50
+दरवाज़ा खोलिए।
+51
+मुझे मूर्ख बनना पसंद नहीं है।
+52
+हम एक फ़िल्म देख रहे हैं।
+53
+बोतल छोड़ दो।
+54
+मुझे एक कप चाय चाहिए।
+55
+हमें नहीं पता हम कहाँ हैं।
+56
+पाकिस्तान में आतंकी हाफिज सईद के बेटे पर भी आतंकवादी हमले का खतरा
+57
+मुलायम के आशीर्वाद पर अखिलेश बोले न��ताजी जिंदाबाद शिवपाल नदारद
+58
+मैं स्कुल जाना नहीं चाहता हूँ।
+59
+आम चुनावों के लिए कांग्रेस सतर्क जाट आरक्षण से फिर वोट बटोरेगी कांग्रेस
+60
+उसने प्रतियोगिता फिरसे जीत ली।
+61
+किसी ने मेरी पतंग काट ली है।
+62
+हम सब टॉम को जानते हैं।
+63
+आफ़्रिका में कई शेर हैं।
+64
+आज के युवाओं को नहीं मालूम पहले विश्वयुद्ध की तारीखें
+65
+मुम्बई भारतीय राज्य महाराष्ट्र की राजधानी है।
+66
+उसने मुझे वह नियम समझाया।
+67
+मेरे पापा आमतौर पर छः बजे घर लौटकर आते हैं।
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंद
+69
+तूफ़ान ने पूरे नगर को नष्ट कर दिया।
+70
+हम तो बस दोस्त है।
+71
+हमारी मीटिंग कभीकभार ही टाईम पर शुरू होती है।
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडकर यूनिवर्सिटी शुरू करेगी ऑनलाइन कोर्स
+74
+विपक्ष का वार केजरीवाल जैसी नौटंकी पर उतरे शिवराज
+75
+वह वहाँ जाने से डरता था।
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी।
+78
+चायवाय कुछ लेंगे आप
+79
+उसका दिल साफ़ है।
+80
+महिलाएँ दुनिया बदल देती हैं।
+81
+नृत्य हर एक संस्कृति का एक सुंदर भाग होता है।
+82
+मुझे अंग्रेज़ी और संगीत पसंद हैं।
+83
+ईटिकट कारोबार में आईआरसीटीसी को मिल सकती है चुनौती
+84
+वह रोया और और रोया।
+85
+सब लोग मुझपर हँसे।
+86
+वनडे से बेहतर टेस्ट क्रिकेटर है कोहली कोच
+87
+टॉम को क्या हुआ है
+88
+शनिवार हफ़्ते का आखिरी दिन होता है।
+89
+मेरा शौक गिटार बजाना है।
+90
+टॉम अभी भी स्कूल में है
+91
+मुझे बस उसका नाम बता।
+92
+वह सेव सड़ने लगा है।
+93
+वह दस साल का लड़का था।
+94
+मेरे लिए थोड़ी जगह बनाओगे क्या
+95
+टॉम को कुछ पिलाओ।
+96
+'कुछ कुछ लोचा है' में सनी लियोन का बिकिनी लुक
+97
+यह रही आपकी चाबी।
+98
+टॉम ने आकाश की तरफ देखा।
+99
+मैं शहर का नक्शा खरीदना चाहता हूँ।
+100
+मेरी छड़ी कहाँ है
+101
+इस वजह से हुआ दावतएइश्क की रिलीज में फेरबदल
+102
+उस संस्कृति में लोग रंगबिरंगी कपड़े पहनते हैं।
+103
+यह सशक्त लोकपाल नहीं हैः लालू यादव
+104
+इसलिए क्योंकि तुम लड़की हो।
+105
+कौन बनेगी एमएस धोनी की 'वाइफ' आलिया भट्ट या श्रद्धा कपूर
+106
+गुवाहाटी हाईकोर्ट में वैकेंसी
+107
+बेकरी कहाँ है
+108
+पहली बारकैबिनेट विस्तार पर्रिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+मुंबई में एक बार फिर होगी आफत की बारिश अगले दो दिन का अलर्ट
+110
+वह मेर�� बात नहीं सुनेगा।
+111
+मैं इस शोर को और बर्दाश्त नहीं कर सकती।
+112
+इससे मेरे कोई लेनादेना नहीं है।
+113
+तुम मरोगे।
+114
+मैं इस ज़िन्दगी को जीकर थक गया हूँ।
+115
+बाद में मिलेंगे।
+116
+दुकान आज खुली नहीं है।
+117
+वह कौनसी चिड़िया है
+118
+गुजरात में अमित शाह की गाड़ी के ऊपर पाटीदारों ने फेंके अंडे
+119
+पेट्रोल के दामों में वृद्धि से ममता नाखुश
+120
+टॉम स्वार्थी था।
+121
+आप दोनों देख रही हैं।
+122
+यह रही तेरी चाय।
+123
+जर्मनी चाहता था कि रूस युद्ध से बाहर रहे।
+124
+दिल्लीएनसीआर में सुहावने मौसम के बीच ट्रैफिक जाम बना लोगों के लिए मुसीबत
+125
+महिलाओं के लिये स्ट्रिप क्लब है।
+126
+बरसों तक जिसे खून समझती रही दुनिया बाद में वो निकला गर्म पानी

evaluations/with_lm/mozilla-foundation_common_voice_7_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.49599901514218886
+CER: 0.33122914036425455

evaluations/with_lm/mozilla-foundation_common_voice_8_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.5371549893842887
+CER: 0.38493498285108796

evaluations/without_lm/common_voice_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.37587006960556846
+CER: 0.11193850588517895

evaluations/without_lm/log_common_voice_hi_test_predictions.txt

@@ -0,0 +1,254 @@
+0
+कॉंस्टेबल बन मनोज बाजपे दिखा रहे हैं तांडव
+1
+बजाय पी रहा है
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जेक मुझसे 3 साल बडा है
+4
+एक पागल इंसान को अपने किए धरे के लिए जिम्मेदार नहीं धहराया जा सकता
+5
+कौन ज्यादा तेज भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया
+7
+उन्होंने एक दूसरे को देखा
+8
+अभी पोलेंड में क्या हो रहा है
+9
+मैं सफर पर उसके साथ गया
+10
+उसने मेरे स्थन पकड लिए
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी फाटकर जी पे शीशे तोडे
+13
+हमारे पास तो बस चाए हैं
+14
+उसे अपना स्कूल बहुत पसंद है
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है
+16
+ब नतीजी के लिए बेचेन है
+17
+लूई तुम्हारे दोस्त आ रहे हैं
+18
+लगता है मुझे सहायता की आवश्यकता है
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डांटा
+20
+यहां आसपास में एक चोपडी हुआ करती थी
+21
+गर्भवती ने बुर्गा क्या पहाना बडक दयगदंगा
+22
+बच्चे बगीचे में खेल रहे हैं
+23
+इस त्री पर बहुत कम लोग रहते हैं
+24
+तुम्हें थोडा ज्यादा समझतर होना चाहिए
+25
+तुम यहाँ सारे के सारे पेड़ काट डाल दे क्या
+26
+वह मुझ पर गुस्सा हो गया
+27
+उत्तर प्रदेश में चं रहे नौफर्जी विश्वविद्यालयं की जांच एसआईटी को
+28
+कारा रंग तुम पर जचता है
+29
+वो शादी शुदा नहीं है
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठन कोटी जी से घाव
+31
+मुझे अपने पिता की गरीबी परसर नहीं आती है
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तु अंधेरे में क्यों बैठी हो
+34
+वो मुझसे 2 साल छोटी है
+35
+मेरी नजर इन दिनों कमजोर हो रही है
+36
+वो 3 घंटों में वापस आएगा
+37
+वे पांच बचे चाय पीती है
+38
+महाराष्ट्र पब्लिक सर्विस कमिशन में वैकेंसी
+39
+उसने सब कुछ अपने आप किया
+40
+दुनिया बदल गई है
+41
+या आपका फैसला नहीं है
+42
+मैं सीरिया से हूँ
+43
+हम अंदर आ रहे हैं
+44
+आप किसके साथ खा रही हैं
+45
+वो बहुत ऐसे वाली औरत है
+46
+यह कुरसी आपकी है
+47
+मैं अभी छोडने वाली नहीं हूं
+48
+चाय वाय कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है
+50
+दरवाजा खोलिए
+51
+मुझे मूर्ख बनना पसंद नहीं है
+52
+हम एक फ़िल्म देख रहे हैं
+53
+वोटर छोड़ दो
+54
+मुझे एक कब चाही चाहिए
+55
+हमें नहीं पता हम कहां है
+56
+पाकिस्तान में आतंकी हा फेज शरीद के बेटे पर भी आतंकवादी हमे का खतरा
+57
+मल्यालम के आशीर्वाद पर अखिलेश बोले नेताजी जिंदाबाद शिवोपाल नदारन
+58
+मैं स्कूल जाना नहीं चाहता हूँ
+59
+आम चुनाव केए कांग्रेस स तरक जांट आरक्षण से फिर वो बटोरे की कांग्रेस
+60
+उसने प्रतियोगीतार फिर से जीत ले
+61
+किसी ने मेरी पतम काट है
+62
+हम सब टॉम को जानते हैं
+63
+अफ्रीका में कई शेर है
+64
+आज के युवाओं को नहीं मालूम पहले विश्व युद्ध की तारीख ै
+65
+मुंबई भारतीय राज्य महाराष्ट्र की राजधानी है
+66
+उसने मुझे वह नियम समझाया
+67
+मेरे पापा आम तौर पर छह पचे घर लौटकर आते हैं
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंधु
+69
+तूफान ने पूरे नगर को नष्ट कर दिया
+70
+हम तो बस दोस्त हैं
+71
+हमारी मीटिंग कभी कबार ही टाइम पर शुरू होती है
+72
+वारियस ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडका यूनिवर्सिटी शुरू करेगी ऑनलैइन कोर्स
+74
+विपक्ष का वार केजरीवाल जिसी नौटंकी पर उतरे शिवराज
+75
+वह वहां जाने से डरता था
+76
+वारणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी
+78
+चाय वाई कुछ लेंगे आप
+79
+उसका दिल साफ है
+80
+महिलाएं दुनिया बदल देती है
+81
+दतीय हर एक संस्कृति का एक सुंदर भागत है
+82
+मुझे अंग्रेजी और संगीत पसंद है
+83
+यी टिकट कारोबार में आईआरसिटीसी को मिल सकती है चुनौती
+84
+वह होया और और रोया
+85
+सब लोग उत्पत् से
+86
+मंडे से बेहतर टेस्ट क्रिकेटर है कोली कोच
+87
+तमको क्या हुआ है
+88
+शनिवार हत्ते का आखिरे दिन होता है
+89
+मेरा साब किटाब भजान है
+90
+ता अभिबू स्कूल मे है
+91
+मुझे बस उसका नाम बता
+92
+वह सेसरनी लगा
+93
+वह 10 साल का लड़का था
+94
+मेरे लिए तो ही जगह बनाओगी क्या
+95
+तोन को कुछ पीलाओ
+96
+कुछ कुछ लोचा है मैं सनी लियन का बिकनी लुक
+97
+यह रही आपकी चाबी
+98
+टॉम ने आकाश की तरफ देखा
+99
+मैं शहर का नक्शा खरीदना चाहता हूँ
+100
+मेरी छडीकहां है
+101
+इस वजह से हुआ दौवते इसकी रिलीज में फेर बदल
+102
+उस संस्कृति में लोग रंग विरंगी कपड़े पहनते हैं
+103
+यह सशक्त लोकपाल नहीं है लालू यादव
+104
+इसलिए क्योंकि तुम लडकी हो
+105
+कौन बनेगी एमएस धोनी की वाई आलियाबट या श्रद्धा कपूर
+106
+कोहाटी हाईकोर्ट में भैकेंसी
+107
+बेक्री कहां है
+108
+पहली बार कैबिनेट विस्ता परिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+में एक बार फिर होगी आफत की बाडिश अगले 2 दिन का अलर्ट
+110
+वह मेरी बात नहीं सुनेगा
+111
+मैं इस सोर को और परदाश नहीं कर सकती
+112
+इससे मेरा कोई लेना देना नहीं है
+113
+तुम मरोगे
+114
+मैं इस जिंदगी को जीकर थक गया हूं
+115
+बाद में मिलेंगे
+116
+दुकान आज खुली नहीं है
+117
+वह कौन सी चिटियां ���ै
+118
+गुजरात में हमिशा की गाडी के ऊपर पार्टीदारोण ने फेके अंडे
+119
+पेट्रोल के दामों में वीर्धी से ममता नापुष
+120
+ताम स्वार्थी था
+121
+प दोनों तीख रही है
+122
+ये रेकी तेरी चाय
+123
+जयमनी कटा था कि रोज़ योग से मार रहे
+124
+दिल्ली एंसीआर में सुभावने मौसम के बीच टरफ एग्जाम बना लोगों के लिए मुसीब
+125
+महिलाओं के लिए स्केपलबध है
+126
+बरसो तक जैसे खोन समझती रही दनिया बाद में  निकला करम पाी

evaluations/without_lm/log_common_voice_hi_test_targets.txt

@@ -0,0 +1,254 @@
+0
+कांस्टेबल बन मनोज बाजपेयी दिखा रहे हैं 'तांडव'
+1
+वह चाय पी रहा है।
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जैक मुझसे तीन साल बड़ा है।
+4
+एक पागल इनसान को अपने कियेधरे के लिए ज़िम्मेदार नहीं ठहराया जा सकता।
+5
+कौन ज़्यादा तेज़ भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया।
+7
+उन्होंने एकदूसरे को देखा।
+8
+अभी पोलैंड में क्या हो रहा है
+9
+मैं सफ़र पर उसके साथ गया।
+10
+उसने मेरे स्तन पकड़ लिये।
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी फाड़कर जीप के शीशे तोड़े
+13
+हमारे पास तो बस चाय है।
+14
+उसे अपना स्कूल बहुत पसंद है।
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है।
+16
+वह नतीजे के लिए बेचैन है।
+17
+लुई तुम्हारे दोस्त आ रहे हैं।
+18
+लगता है मुझे सहायता की आवश्यकता है।
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डाँटा।
+20
+यहाँ आसपास में एक झोपड़ी हुआ करती थी।
+21
+गर्भवती ने बुरका क्या पहाना भड़क गया दंगा
+22
+बच्चे बगीचे में खेल रहे हैं।
+23
+इस द्वीप पर बहुत कम लोग रहते हैं।
+24
+तुम्हें थोड़ा ज़्यादा समझदार होना चाहिए।
+25
+तुम यहाँ सारे के सारे पेड़ काट डालोगे क्या
+26
+वह मुझपर गुस्सा हो गया।
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्यालयों की जांच एसआईटी को
+28
+काला रंग तुम पर जँचता है।
+29
+वह शादीशुदा नहीं है।
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठानकोट जैसा घाव
+31
+मुझे अपने पिता की ग़रीबी पर शर्म नहीं आती है।
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वह मुझसे दो साल छोटी है।
+35
+मेरी नज़र इन दिनों कमज़ोर हो रही है।
+36
+वह तीन घंटों में वापस आएगा।
+37
+वे पाँच बजे चाय पीतीं हैं।
+38
+महाराष्ट्र पब्लिक सर्विस कमीशन में वैकेंसी
+39
+उसने सब कुछ अपनेआप किया।
+40
+दुनिया बदल गई है।
+41
+यह आपका फ़ैसला नहीं है।
+42
+मैं सीरिया से हूँ।
+43
+हम अंदर आ रहे हैं।
+44
+आप किसके साथ खा रहीं हैं
+45
+वह बहुत पैसेवाली औरत है।
+46
+यह कुर्सी आपकी है।
+47
+मैं अभी छोड़ने वाली नहीं हूँ।
+48
+चायवाय कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है।
+50
+दरवाज़ा खोलिए।
+51
+मुझे मूर्ख बनना पसंद नहीं है।
+52
+हम एक फ़िल्म देख रहे हैं।
+53
+बोतल छोड़ दो।
+54
+मुझे एक कप चाय चाहिए।
+55
+हमें नहीं पता हम कहाँ हैं।
+56
+पाकिस्तान में आतंकी हाफिज सईद के बेटे पर भी आतंकवादी हमले का खतरा
+57
+मुलायम के आशीर्वाद पर अखिलेश बोले न��ताजी जिंदाबाद शिवपाल नदारद
+58
+मैं स्कुल जाना नहीं चाहता हूँ।
+59
+आम चुनावों के लिए कांग्रेस सतर्क जाट आरक्षण से फिर वोट बटोरेगी कांग्रेस
+60
+उसने प्रतियोगिता फिरसे जीत ली।
+61
+किसी ने मेरी पतंग काट ली है।
+62
+हम सब टॉम को जानते हैं।
+63
+आफ़्रिका में कई शेर हैं।
+64
+आज के युवाओं को नहीं मालूम पहले विश्वयुद्ध की तारीखें
+65
+मुम्बई भारतीय राज्य महाराष्ट्र की राजधानी है।
+66
+उसने मुझे वह नियम समझाया।
+67
+मेरे पापा आमतौर पर छः बजे घर लौटकर आते हैं।
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंद
+69
+तूफ़ान ने पूरे नगर को नष्ट कर दिया।
+70
+हम तो बस दोस्त है।
+71
+हमारी मीटिंग कभीकभार ही टाईम पर शुरू होती है।
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडकर यूनिवर्सिटी शुरू करेगी ऑनलाइन कोर्स
+74
+विपक्ष का वार केजरीवाल जैसी नौटंकी पर उतरे शिवराज
+75
+वह वहाँ जाने से डरता था।
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी।
+78
+चायवाय कुछ लेंगे आप
+79
+उसका दिल साफ़ है।
+80
+महिलाएँ दुनिया बदल देती हैं।
+81
+नृत्य हर एक संस्कृति का एक सुंदर भाग होता है।
+82
+मुझे अंग्रेज़ी और संगीत पसंद हैं।
+83
+ईटिकट कारोबार में आईआरसीटीसी को मिल सकती है चुनौती
+84
+वह रोया और और रोया।
+85
+सब लोग मुझपर हँसे।
+86
+वनडे से बेहतर टेस्ट क्रिकेटर है कोहली कोच
+87
+टॉम को क्या हुआ है
+88
+शनिवार हफ़्ते का आखिरी दिन होता है।
+89
+मेरा शौक गिटार बजाना है।
+90
+टॉम अभी भी स्कूल में है
+91
+मुझे बस उसका नाम बता।
+92
+वह सेव सड़ने लगा है।
+93
+वह दस साल का लड़का था।
+94
+मेरे लिए थोड़ी जगह बनाओगे क्या
+95
+टॉम को कुछ पिलाओ।
+96
+'कुछ कुछ लोचा है' में सनी लियोन का बिकिनी लुक
+97
+यह रही आपकी चाबी।
+98
+टॉम ने आकाश की तरफ देखा।
+99
+मैं शहर का नक्शा खरीदना चाहता हूँ।
+100
+मेरी छड़ी कहाँ है
+101
+इस वजह से हुआ दावतएइश्क की रिलीज में फेरबदल
+102
+उस संस्कृति में लोग रंगबिरंगी कपड़े पहनते हैं।
+103
+यह सशक्त लोकपाल नहीं हैः लालू यादव
+104
+इसलिए क्योंकि तुम लड़की हो।
+105
+कौन बनेगी एमएस धोनी की 'वाइफ' आलिया भट्ट या श्रद्धा कपूर
+106
+गुवाहाटी हाईकोर्ट में वैकेंसी
+107
+बेकरी कहाँ है
+108
+पहली बारकैबिनेट विस्तार पर्रिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+मुंबई में एक बार फिर होगी आफत की बारिश अगले दो दिन का अलर्ट
+110
+वह मेर�� बात नहीं सुनेगा।
+111
+मैं इस शोर को और बर्दाश्त नहीं कर सकती।
+112
+इससे मेरे कोई लेनादेना नहीं है।
+113
+तुम मरोगे।
+114
+मैं इस ज़िन्दगी को जीकर थक गया हूँ।
+115
+बाद में मिलेंगे।
+116
+दुकान आज खुली नहीं है।
+117
+वह कौनसी चिड़िया है
+118
+गुजरात में अमित शाह की गाड़ी के ऊपर पाटीदारों ने फेंके अंडे
+119
+पेट्रोल के दामों में वृद्धि से ममता नाखुश
+120
+टॉम स्वार्थी था।
+121
+आप दोनों देख रही हैं।
+122
+यह रही तेरी चाय।
+123
+जर्मनी चाहता था कि रूस युद्ध से बाहर रहे।
+124
+दिल्लीएनसीआर में सुहावने मौसम के बीच ट्रैफिक जाम बना लोगों के लिए मुसीबत
+125
+महिलाओं के लिये स्ट्रिप क्लब है।
+126
+बरसों तक जिसे खून समझती रही दुनिया बाद में वो निकला गर्म पानी

evaluations/without_lm/mozilla-foundation_common_voice_7_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.5625384710082482
+CER: 0.28945361817022713

evaluations/without_lm/mozilla-foundation_common_voice_8_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.5984953383181021
+CER: 0.3327911364755965