app.py

from transformers import AutoModelForSeq2SeqLM
from transformers import T5ForConditionalGeneration, T5Tokenizer
import torch
import gradio as gr
from transformers import AutoTokenizer
from fastT5 import (OnnxT5,get_onnx_runtime_sessions, generate_onnx_representation, quantize)
from fastT5 import export_and_get_onnx_model, get_onnx_model

tokenizer = T5Tokenizer.from_pretrained("/content/summary-T5_v6")

model_name="/content/summary-T5_v6"
custom_output_path="ONNX-T5/"
modelO=get_onnx_model(model_name, custom_output_path)
modelO.config.max_length=512
def summaryA(Text):
  tokenized_text = tokenizer.encode(Text,return_tensors="pt")
  summary_ids = modelO.generate(
      tokenized_text,
      num_beams=4,
      length_penalty=2.0, 
      max_length=142,
      min_length=56,
      no_repeat_ngram_size=3,
      do_sample=False,      
      early_stopping=True
      )
  outResu = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
  return outResu
demo1 = gr.Interface(fn=summaryA,
                     inputs= gr.inputs.Textbox(lines=8,placeholder="Enter the text you want to summarize......"), 
                     outputs=["text"],
                     examples=[[" الخطاط الكويتي فريد العلي يعرض مجموعة محمديات بدعوة من جمعية العلوم الاجتماعية وتحت رعاية عميد كلية العلوم الاجتماعية الدكتور علي الطراح افتتحت الدكتورة نادية الحمدان رئيس مكتب التوجيه والإرشاد معرض (خير الأنام), للخطاط فريد العلي. عرض الخطاط العلي 30 لوحة تحتوي على 108 تصاميم لكلمة محمد عليه أفضل الصلاة والسلام من مجموعة (محمديات) التي صممها الفنان بـ500 تشكيل والذي يتزامن مع ذكرى المولد النبوي الشريف. وفي اليوم الثاني من المعرض أقام الفنان العلي ورشة فنية خطية لطلبة كلية العلوم الاجتماعية قدم فيها الفنان حلولا للمشاكل التي تواجه الطلبة في طريقة تحسين الخط العربي وخاصة في الكتابة السريعة, كما عرض الحلول لكيفية تصميم توقيع للطالب بما يتلاءم مع تركيبة الاسم. وأيضا قام العلي بتصميم العديد من الأسماء للطلبة والطالبات بطريقة فنية ومشوقة وبأسلوبه المميز في الخط التشكيلي. هذا وقد زار المعرض العديد من أعضاء هيئة التدريس بالجامعة وعدد كبير من طلبة الكليات. ولقد لقي معرض الفنان صدى طيبا وبالأخص من قبل دكاترة الجامعة الأجانب الذين شد انتباههم تصميم الاسم والحرف العربي لغة القرآن الكريم."],
                               [" واشنطن رويترز : قال تقرير للبنتاجون ان الصين كثفت من مساعيها لزيادة قدراتها في مجال التسليح خلال العام الماضي بضم المزيد من الصواريخ المتطورة واجهزة تضليل الاقمار الصناعية باشعة الليزر بهدف الانتصار في اي حرب قد تندلع مع تايوان ولممارسة مزيد من النفوذ. وقال التقرير الذي كشف النقاب عنه امس الاول ان الصين لديها ما يزيد عن 500 من الصواريخ ذاتية الدفع وبعضها مزود بانظمة توجيه متطورة موجهة الى تايوان وان انفاقها العسكري الذي يتراوح بين 50 مليارا و 70 مليار دولار يجعلها تحتل المرتبة الثالثة بعد الولايات المتحدة وروسيا. ويعكس التقرير الذي هو بمثابة تقييم سنوي لقدرات الصين يتم تسليمه الى الكونغرس مخاوف البنتاغون العميقة بشان تطور القدرات العسكرية الصينية بمعدلات كبيرة واحتمال ان تصبح الصين يوما خصما للولايات المتحدة. وعلى النقيض اشاد كولن باول وزير الخارجية الاميركي بالعلاقات الاميركية الصينية باعتبارها الافضل على الاطلاق وكان من بين مسوولين وخبراء اميركيين قالوا ان الحرب على الارهاب اتاحت لواشنطن وبكين اساسا للتعاون. وقال مسوول بارز من وزارة الدفاع اطلع الصحفيين على نتايج الدراسة الجديدة : ان ( تركيز ) الصين كثيرا على الاستعداد لنزاع في مضيق تايوان يثير شكوكا خطيرة بشان سياسة بكين المعلنة فيما يتعلق بالسعي الى توحيد البلدين سلميا في اطار نظرية بلد واحد ونظامين. وقال المسوول انه باضافة 75 صاروخا سنويا الى قواتها المنتشرة قبالة تايوان فان الصين توجد موقفا اقل استقرارا في جوهره. واضاف التقرير : ان جيش الصين استنادا للدروس المستفادة من الغزو الاميركي للعراق يعيد النظر في الافتراضات بشان قيمة الضربات طويلة المدى البالغة الدقة والقوات البرية المستقلة في اي نزاع مع تايوان. وقال التقرير ان الدروس الاخرى التي اثرت في تفكير الصينيين تشمل تكامل عمليات الحرب النفسية والعمليات الجوية والبرية السريعة التي تستهدف قيادة العدو وقدرتها على الاتصال وارادتها القتالية. وعززت الحرب قرار الصين بالسعي سريعا للحصول على تكنولوجيا معلومات متطورة. واعترف المسوول العسكري البارز في البنتاغون بان تركيز الصين على المدى القصير هو تايوان. وتابع المسوول ( لكن ثمة تطورا اوسع نطاقا واعمق ) تقوم به الصين في هذا الشان. واضاف : ان الصين تسعى وراء ( تحول شامل وحسن التخطيط والتنفيذ. ) لجميع القطاعات ومنها الاسلحة والتكتيكات والعقيدة والتدريب ويمكن ان يكون لها جيش على اعلى مستوى في العالم في غضون فترة تتراوح بين عشرة و 15 عاما."]],
                     title="Arabic Summarization",
                     description="there is some examples below \n click on it then click sumbmit button ")
  
demo1.launch(inline=False)