import torch import gradio as gr from transformers import GPT2LMHeadModel, GPT2Tokenizer #from googletrans import Translator #translator = Translator() tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/mGPT-armenian") model = GPT2LMHeadModel.from_pretrained("sberbank-ai/mGPT-armenian") #model.cuda() #model.eval() description = "Multilingual generation with mGPT" title = "Generate your own example" examples = [["""Երեւանից ծրագրավորողները ներկայացրել են նոր գործարք: Այն կոչվում է"""]]#, "Նորություններ. Բրազիլացի գիտնականները հայտնաբերել են Ուութլանդի արեւմուտքում ապրող գաճաճ միաեղջյուրների հազվագյուտ տեսակին:" article = ( "

" "GitHub " "

" ) device = "cuda:0" if torch.cuda.is_available() else "cpu" fp16 = device != 'cpu' model.to(device).eval() def transl(text, src='en', dest='hy' ): return translator.translate(text, src=src, dest=dest).text def generate(prompt: str): #print(prompt) #print(length, type(length)) #length = int(length) input_ids = tokenizer.encode(prompt, return_tensors="pt").to(device) out = model.generate(input_ids, min_length=200, max_length=700, top_p=0.95, top_k=0, temperature=0.9, no_repeat_ngram_size=5 ) generated_text = list(map(tokenizer.decode, out))[0] return generated_text #+ '\n\n'+transl(generated_text, src='hy', dest='en') #contexto = gr.inputs.Textbox(lines=10, placeholder="Write your text here") #length = gr.inputs.Slider(200, 1000) interface = gr.Interface.load("huggingface/sberbank-ai/mGPT-armenian", description=description, examples=examples, fn=generate, inputs="text",#[contexto,length],# outputs='text', thumbnail = 'https://habrastorage.org/r/w1560/getpro/habr/upload_files/26a/fa1/3e1/26afa13e1d1a56f54c7b0356761af7b8.png', theme = "peach", article = article ) interface.launch(enable_queue=True)