metadata
license: mit
datasets:
- Someman/hindi-summarization
language:
- hi
tags:
- summarization
MT5-Summarize-Hi
A seq2seqLM model pretrained on google/mt5-small.
How To Use
>>> import torch
>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
# Predict with test data (first 5 rows)
>>> device = "cuda" if torch.cuda.is_available() else "cpu"
>>> t5_tokenizer = AutoTokenizer.from_pretrained(model_ckpt)
>>> model = AutoModelForSeq2SeqLM.from_pretrained(model_ckpt).to(device)
>>> text = "दरअसल, 28 मई के दिन पहलवान विरोध प्रदर्शन करने के लिए नए संसद भवन की तरफ जा रहे थे। इसी दिन नए संसद भवन का उद्घाटन हो रहा था। पुलिस ने उन्हें रोका तो पहलवानों के साथ उनकी हाथापाई हो गई। दिल्ली पुलिस ने सभी पहलवानों और उनके समर्थकों को हिरासत में ले लिया। इसके बाद जंतर-मंतर से पहलवानों का सामान हटा दिया गया। शाम तक सभी महिला पहलवान और रात तक पुरुष पहलवानों को छोड़ दिया गया। पहलवानों को फिर से जंतर-मंतर में बैठने की अनुमति नहीं मिली, लेकिन उनका विरोध प्रदर्शन जारी रहा। इस बीच सामने आया कि बृजभूषण पर महिला पहलवानों को गलत तरीके से छूने और यौन शोषण के कई आरोप लगे हैं। इस बीच गृहमंत्री अमित शाह ने चार जून को पहलवानों के साथ बात की। पांच जून को सभी बड़े पहलवानों ने अपनी सरकारी नौकरी जॉइन कर ली। "
>>> inputs = tokenizer("summarize: " + text, return_tensors="pt", max_length=1024, padding= "max_length", truncation=True, add_special_tokens=True)
>>> generation = model.generate(
input_ids = inputs['input_ids'].to(device),
attention_mask=inputs['attention_mask'].to(device),
num_beams=6,
num_return_sequences=1,
no_repeat_ngram_size=3,
repetition_penalty=1.0,
min_length=50,
max_length=250,
length_penalty=2.0,
early_stopping=True
)
# # Convert id tokens to text
>>> output = t5_tokenizer.decode(generation[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
# print("***** Summary Text (Generated Text) *****")
>>> print(output)
"28 मई के दिन पहलवान विरोध प्रदर्शन करने के लिए नए संसद भवन की तरफ जा रहे थे। इसी दिन जंतर-मंतर से पहलवानों का सामान हटा दिया गया।"
Evaluation Result
| Step | Training Loss | Validation Loss |
|---|---|---|
| 5000 | 1.541200 | 1.319326 |
| 10000 | 1.402300 | 1.231357 |