Create app.py

app.py

@@ -0,0 +1,31 @@
+import gradio as gr
+import torch
+import pytorch_lightning as pl
+from pytorch_lightning.callbacks.early_stopping import EarlyStopping
+from transformers import (
+    MT5ForConditionalGeneration,
+    MT5TokenizerFast,
+)
+
+model = MT5ForConditionalGeneration.from_pretrained(
+    "minjibi/qa",
+    return_dict=True,
+)
+tokenizer = MT5TokenizerFast.from_pretrained(
+    "minjibi/qa"
+)
+
+def generate_text(input_text):
+    input_ids = tokenizer.encode(input_text, return_tensors="pt").cuda()
+    output = model.generate(input_ids, max_new_tokens = len(input_text), num_beams = 1, early_stopping=True, length_penalty = -50.0) #repetition_penalty 
+    generated_text = tokenizer.decode(output[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
+    return generated_text
+    
+examples = [
+    ["น้อง จะ ไป แอ่ว ตี้ วัด เจ๋ดีย์ซาว น้อง ต้อง ไป ต๋อน กี่ โมง ตี้ คน บ่ นัก"],
+    ["แม่น แม่น แล้ว ตาง พิพิธภัณฑ์ เปิ้น เปิด หื้อ เข้า ไป ผ่อ ต๋อน กี่ โมง ก๋า"],
+]
+
+
+iface = gr.Interface(fn=generate_text, inputs="text", outputs="text", examples=examples)
+iface.launch()