--- datasets: - Someman/news_nepali language: - ne - en metrics: - rouge library_name: transformers pipeline_tag: summarization --- ## Model Summary net5-news-summ is a mt5 based summarization model. The model is trained on the [Someman/news_nepali](https://huggingface.co/datasets/Someman/news_nepali). The model is finetuned from [net5-base](https://huggingface.co/Angeldahal404/net5-base) model ## How to use ``` import torch from transformers import AutoModelForSeq2SeqLM, AutoTokenizer device = "cuda" if torch.cuda.is_available() else "cpu" model = AutoModelForSeq2SeqLM.from_pretrained("Angeldahal404/net5-news-summ").to(device) tokenizer = AutoTokenizer.from_pretrained("Angeldahal404/net5-news-summ").to(device) prefix = "संक्षेप गर्नुहोस्: " text = prefix + "काठमाडौं, भदौ २२ : नेपाली काँग्रेसका केन्द्रीय कार्यसमितिका सदस्य डा शशांक कोइरालाले संविधानको रक्षाका लागि आगामी प्रतिनिधिसभा र प्रदेशसभा निर्वाचनमा सत्तारुढ दलहरुबीच चुनावी तालमेल आवश्यक रहेको बताउनुभएको छ । आज काठमाडौंमा सञ्चारकर्मीसँग कुरा गर्दै कोइरालाले कांग्रेस एक्लै चुनाव लड्न सक्ने भए पनि संविधानको रक्षा, विकास र स्थायित्वका लागि अन्य दलसँग समन्वय गर्नुपर्ने बताए ।“सरकार पनि गठबन्धनको हो । गठबन्धनबाट चुनावमा जान सजिलो हुन्छ,’ उनले आगामी निर्वाचनमा कांग्रेसले सय सिट पाउनु पर्ने बताउँदै भने ।’ कोइरालाले चुनावी गठबन्धनमा के हुन्छ भन्न नसकिने बताए । उनले भने, ‘एमालेसँग प्रतिस्पर्धा गर्न हामी एक हुनुपर्छ । ‘अहिलेको अवस्थामा प्रत्येक दलले चुनावमा अन्य दलसँग समन्वय गर्ने प्रयास गर्नेछन् ।" input_ids = tokenizer(text, return_tensors="pt", max_length=1024, padding= "max_length", truncation=True, add_special_tokens=True) generation = model.generate( input_ids = inputs['input_ids'].to(device), attention_mask=inputs['attention_mask'].to(device), num_beams=10, num_return_sequences=1, no_repeat_ngram_size=3, repetition_penalty=2.0, min_length=128, max_length=256, length_penalty=1.5, early_stopping=True ) output = tokenizer.decode(generation[0], skip_special_tokens=True, clean_up_tokenization_spaces=True) tokens = output.split(" ") filtered_tokens = [token for token in tokens if not token.startswith("