# import transformers import sentencepiece import torch import gradio as gr # from indicnlp.normalize.indic_normalize import IndicNormalizerFactory from transformers import MarianMTModel, AutoTokenizer, T5ForConditionalGeneration from deep_translator import GoogleTranslator def summarize(message): tokenizer_bn_en = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-bn-en") model_bn_en = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-bn-en") tokenizer = AutoTokenizer.from_pretrained('t5-base') model = T5ForConditionalGeneration.from_pretrained('t5-base') device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') with torch.no_grad(): # tokenize the input text input_ids = tokenizer_bn_en.encode(message, return_tensors='pt') # generate the output translation output_ids = model_bn_en.generate(input_ids) output_text1 = tokenizer_bn_en.decode(output_ids[0], skip_special_tokens=True) #input for the summarization model input_text2 = output_text1 # tokenize the input text and generate the summary in english input_ids = tokenizer.encode(input_text2, return_tensors='pt') summary_ids = model.generate(input_ids, max_length=50, num_beams=30, early_stopping=True) summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True) summarized = GoogleTranslator(source='en', target='bn').translate(summary) return summarized # summarize("যুক্তরাষ্ট্রের নিউজার্সি অঙ্গরাজ্যের হোপওয়েল শহর এলাকার একটি বাড়ির ছাদে একটি ধাতব বস্তু আছড়ে পড়েছে। ধাতব বস্তুটি উল্কাপিণ্ড হতে পারে বলে ধারণা করা হচ্ছে। এ ঘটনায় কেউ হতাহত হয়নি বলে জানিয়েছে পুলিশ। স্থানীয় সময় গত সোমবার বেলা একটার কিছু সময় পর ওল্ড ওয়াশিংটন ক্রসিং পেনিংটন রোড এলাকায় অবস্থিত একটি বাড়িতে এ ঘটনা ঘটে। পুলিশের ভাষ্য, বস্তুটি আয়তাকার। দেখতে ধাতব পদার্থের মতো। বাড়ির বাসিন্দারা জানান, ঘটনার পর তাঁরা সংশ্লিষ্ট সহায়তা কর্তৃপক্ষকে ফোন করেন। আকাশ থেকে কোনো বস্তু যে বাড়ির ছাদে এসে পড়েছে, এ কথা কর্তৃপক্ষকে বোঝাতে তাঁদের বেগ পেতে হয়েছে।") iface = gr.Interface(fn=summarize, inputs="text", outputs="text") iface.launch()