|
--- |
|
datasets: |
|
- Someman/news_nepali |
|
language: |
|
- ne |
|
- en |
|
metrics: |
|
- rouge |
|
library_name: transformers |
|
pipeline_tag: summarization |
|
--- |
|
## Model Summary |
|
net5-news-summ is a mt5 based summarization model. The model is trained on the [Someman/news_nepali](https://huggingface.co/datasets/Someman/news_nepali). The model is finetuned from [net5-base](https://huggingface.co/Angeldahal404/net5-base) model |
|
|
|
## How to use |
|
``` |
|
import torch |
|
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer |
|
|
|
device = "cuda" if torch.cuda.is_available() else "cpu" |
|
|
|
model = AutoModelForSeq2SeqLM.from_pretrained("Angeldahal404/net5-news-summ").to(device) |
|
tokenizer = AutoTokenizer.from_pretrained("Angeldahal404/net5-news-summ").to(device) |
|
|
|
prefix = "संक्षेप गर्नुहोस्: " |
|
text = prefix + "२६ माघ, काठमाडौं । श्रम रोजगार तथा समाजिक सुरक्षा मन्त्रालय वैदेशिक रोजगारीमा जानेहरुले लिनुपर्ने अभिमुखीकरण तालिम सञ्चालनबारेको पछिल्लो निर्णयबाट पछि नहट्ने देखिएको छ । विदेश जाँदा श्रमिकले लिनुपर्ने अभिमुखीकरण कक्षाको पाठ्यक्रमलाई बदल्ने, त्यसबापतको श्रमिकले तिर्ने शुल्क चार गुणाले बढाउने र परीक्षा समेत लिएर पास भएकालाई मात्रै वैदेशिक रोजगारीमा जान अनुमति दिने गरी भएको व्यवस्था तत्काल संशोधन नगर्ने श्रम मन्त्रालयको अडान छ । श्रममन्त्री शरतसिंह भण्डारीले सीमित स्वार्थ समूहबाट प्रभावित भएर श्रमिकमाथि ठूलो आर्थिक भार थोपर्ने निर्णय गरेको भन्दै आलोचना भएपछि प्रधानमन्त्री पुष्पकमल दाहाल प्रचण्डले नै यसबारे चासो देखाएका थिए । गत २४ पुसमा श्रमिकमाथि आर्थिक भार थोपर्ने कुनै निर्णय नगर्न र भएका निर्णय कार्यान्वयन नगर्न प्रधानमन्त्री प्रचण्डले श्रममन्त्री भण्डारीसहित मन्त्रालयका अधिकारीहरुलाई निर्देशन दिएका थिए । तर, श्रम मन्त्रालयले अहिलेसम्म पूर्वप्रस्थान अभिमुखीकरण कार्यविधि–२०७६ मा आफूखुशी गरेको संशोधन फिर्ता लिने निर्णय गरेको छैन । श्रमिकको हित अनुकूल नै निर्णय भएको र २०६० पछि शुल्क नबढेकाले समायानुकुल बनाउने निर्णयमा पछिल्लो समयमा प्रधानमन्त्री तथा मन्त्रिपरिषद् कार्यालय समेत सकारात्मक देखिएको श्रमका अधिकारीहरुको दाबी छ । श्रमिकको हित प्रवर्द्धन हुने गरी पाठ्यक्रम सुधारेर कक्षालाई अनिवार्य गर्न खोजिएकाले सुधारको कदमबाट पछि हट्न नसकिने श्रम मन्त्रालयको अडान छ । शुल्कका सम्बन्धमा पछि छलफल गर्ने तर नयाँ पाठ्यक्रम र प्रणालीबाट कक्षा सञ्चालन गर्ने मन्त्रालयका अधिकारीहरु बताउँछन् ।" |
|
|
|
inputs = tokenizer(text, return_tensors="pt", max_length=1024, padding= "max_length", truncation=True, add_special_tokens=True) |
|
|
|
generation = model.generate( |
|
input_ids = inputs['input_ids'].to(device), |
|
attention_mask=inputs['attention_mask'].to(device), |
|
num_beams=10, |
|
num_return_sequences=1, |
|
no_repeat_ngram_size=3, |
|
repetition_penalty=2.0, |
|
min_length=128, |
|
max_length=256, |
|
length_penalty=1.5, |
|
early_stopping=True |
|
) |
|
|
|
output = tokenizer.decode(generation[0], skip_special_tokens=True, clean_up_tokenization_spaces=True) |
|
|
|
tokens = output.split(" ") |
|
filtered_tokens = [token for token in tokens if not token.startswith("<extra_id_")] |
|
print(' '.join(filtered_tokens)) |
|
|
|
# श्रममन्त्री शरतसिंह भण्डारीले सीमित स्वार्थ समूहबाट प्रभावित भएर श्रमिकमाथि ठूलो आर्थिक भार थोपरेको भन्दै आलोचना भएपछि प्रधानमन्त्री पुष्पकमल दाहाल प्रचण्डले नै यसबारे चासो देखाएका थिए । सरकारले नयाँ कार्याविधि अनुसार खाडी मुलुक जान अंग्रेजी र सम्बन्धित देशको भाषा कक्षा पनि सिक्न निर्देशन दिएको थियो, परीक्षा लिएर श्रमिक पठाउने व्यवस्था गर्दा अदक्ष श्रमिक मलेसिया र खाडीजस्ता देशमा जानबाट वञ्चित हुनुपर्ने, शुल्क बढाउँदा श्रमिकलाई मारमा पर्ने लगायतका दाबी गर्दै नेशनल फ्युचर फाउन्डेसनले सर्वोच्चमा रिट निवेदन दायर गरेको थियो । |
|
``` |
